考虑具有一些节点的Flink集群,其中每个节点具有多核处理器 . 如果我们根据内核数量和相等的内存份额配置插槽数量,Apache Flink如何在节点和空闲插槽之间分配任务?他们受到公平对待吗?
当我们根据节点上可用的核心数配置任务槽时,有没有办法使Flink能够平等地处理插槽
例如,假设我们平均分区数据并在分区上运行相同的任务 . Flink使用来自某些节点的所有插槽,同时一些节点完全免费 . 具有较少CPU核心数的节点输出结果的速度比具有该过程中涉及的更多CPU核心数的节点快得多 . 除此之外,这个加速比率与每个节点中使用的核心数量不成比例 . 换句话说,如果在一个节点中占用一个核心而在另一个节点中占用两个核心,相当地将每个核心视为一个时隙,每个时隙应该在几乎相同的时间内在同一任务上输出结果,而不管哪个节点他们属于 . 但是,这不是这种情况 .
有了这个假设,我会说节点不会被平等对待 . 这又产生了与可用节点数量不成比例的结果 . 我们不能说增加插槽数量必然会降低时间成本 .

我很感激Apache Flink社区的任何评论!