具有巨大状态的运营商的Flink任务调度

loading...


0

让我们假设一个设置,我们有一个或多个运算符连接到键控流,并且我们期望每个键有许多键和显着的分区状态(就大小而言) .

是否有可能影响Flink将调度每个运算符实例的任务管理器?在具有n个任务管理器和m个运算符实例的设置中,最糟糕的情况是这些m个实例中的多个(如果不是全部)最终仅位于n个任务管理器中的少数几个,因此耗尽了可用资源 .

loading...

1回答

  • 2

    目前,Flink平等对待每一个 TaskSlot . 这意味着每个 Task 都应该可以部署到每个 Slot 中 . 这不仅显着简化了调度逻辑,而且还通过指定不可满足的调度约束来防止用户将自己射入脚中 . 成本是用户无法控制如何在一组可用插槽和 TaskManagers 中部署 Tasks .

    社区目前正在努力改进Flink 's scheduling capabilities by making Flink' s scheduler pluggable . 通过此更改,我们打算更多地控制Flink如何部署 Tasks .

评论

暂时没有评论!