首页 文章

Spark：并行处理多个kafka主题

提问于
浏览 次
20

我正在使用 spark 1.5.2 . 我需要使用kafka作为流媒体源来运行spark streaming工作 . 我需要从kafka中的多个主题中读取并以不同方式处理每个主题 .

  • 在同一份工作中做这件事是个好主意吗？如果是这样，我应该为每个主题创建一个包含多个分区或不同流的单个流吗？

  • 我正在使用kafka直接蒸汽 . 据我所知，spark为每个分区启动了长时间运行的接收器 . 我有一个相对较小的集群，6个节点，每个节点有4个核心 . 如果我在每个主题中都有很多主题和分区，那么效率是否会受到影响，因为大多数执行者都忙于长时间运行的接收器？ Please correct me if my understanding is wrong here

apache-spark apache-kafka spark-streaming

2 回答

  • 19

    我做了以下观察，以防它对某人有帮助：

    • 在kafka直接流中，接收器不会作为长时间运行的任务运行 . 在每个批处理inerval的开头，首先从执行程序中的kafka读取数据 . 一旦阅读，处理部分就会接管 .

    • 如果我们创建具有多个主题的单个流，则会一个接一个地读取主题 . 此外，过滤dstream以应用不同的处理逻辑将为作业添加另一个步骤

    • 创建多个流有两种方式：1 . 您不需要应用过滤操作来以不同方式处理不同的主题 . 2.您可以并行读取多个流（而不是单个流的情况下逐个读取） . 为此，有一个未记录的配置参数 spark.streaming.concurrentJobs* . 所以，我决定创建多个流 .

    sparkConf.set("spark.streaming.concurrentJobs", "4");
    回复于
  • 6

    我认为正确的解决方案取决于您的用例 .

    如果您的处理逻辑对于来自所有主题的数据是相同的，那么毫无疑问，这是一种更好的方法 .

    如果处理逻辑不同，我猜你从所有主题中得到一个RDD，你必须为每个处理逻辑创建一个pairedrdd并单独处理它 . 问题在于，这会创建一种分组处理，整体处理速度将由需要最长时间处理的主题确定 . 因此，数据较少的主题必须等到处理所有主题的数据 . 一个优点是，如果它是时间序列数据，那么处理一起进行，这可能是一件好事 .

    运行独立作业的另一个好处是可以更好地控制并调整资源共享 . 例如：处理具有高吞吐量的主题的作业可以被分配更高的CPU /内存 .

    回复于

相关问题