我正在编写一个数据摄取程序 . 从Kafka读取到DStream将Dstrem拆分为3个流并在每个流上执行Actions：
val stream = createSparkStream(Globals.configs, ssc)
val s1 = stream.filter(<predicat1>)
val s2 = stream.filter(<predicat2>)
val s3 = stream.filter(<predicat3>)
//I'm looking for something like:
s1.forEachRddAsync(...
s2.forEachRddAsync(...
s3.forEachRddAsync(...
如果可以在整个DStream上触发异步提交而不是RDD .
1 回答
DStream动作方法虽然确实阻塞，但不处理数据 . 这些只将DStream注册为输出流 .启动
StreamingContext后，将根据可用资源调度处理，如果允许，则处理时不会相互限制 .