按顺序执行火花流动作

2 回答

• 0

  据我所知，您可以通过以下方式执行上述任务

  这将以顺序方式执行

  recordStream.foreachRDD{rdd => { //this will be Dstream RDD Records from kafka
   val record = rdd.map(line => line.split("\\|")).collect 
   record.foreach {recordRDD => { //Write the code for Insert in hbase}
   record.foreach {recordRDD => { //Write the code for Update in hbase}
  

  Hope this Helps

  回复于 2024-05-03T02:31:19+08:00
• 1

  在单个 rdd.foreach() 中按顺序更新两个表 . 如果您已正确处理异常，它将以顺序方式执行 .

  此行为得到以下事实的支持：其DAG将按顺序在同一阶段执行 .

  回复于 2024-05-03T02:31:19+08:00