首页 文章

在任务管理器之间均匀分配Flink运算符

提问于
浏览
1

我正在15台机器的裸机集群上为Flink流应用程序进行原型设计 . 我正在使用带有90个任务槽(15x6)的纱线模式 .

该应用程序从单个Kafka主题中读取数据 . Kafka主题有15个分区,因此我将源运算符的并行性设置为15 . 但是,我发现Flink在某些情况下会将2-4个消费者任务实例分配给同一个任务管理器 . 这会导致某些节点成为网络绑定(Kafka主题提供大量数据,而计算机只有1G NIC)以及整个数据流中的瓶颈 .

有没有办法“强迫”或以其他方式指示Flink在所有任务管理员之间均匀分配任务,也许是循环?如果没有,有没有办法手动将任务分配给特定的任务管理器插槽?

1 回答

  • 0

    据我所知,这是不可能的 . 将任务调度到任务槽的作业管理器仅知道任务槽 . 它不知道某些任务槽属于一个任务管理器,而其他任务槽属于另一个任务管理器 .

相关问题