我在yarn-site.xml中将最大分配vcores设置为1，将物理核心数设置为2.所有节点都相同 . 但是，有些人，YARN会为一个节点分配3个容器 . 它报告该节点上有-1个vcores . 最终发生的事情是nodemanager关闭该节点，并且作业失败 . 你如何阻止YARN过度分配vcores？还有其他节点可用，使用0个vcores . 我已经指定了可以分配的最小和最大vcores数量以及每个节点的物理vcore数量 . 当我查看YARN报告时，一切看起来都是正确的 .
这个answer就是你要找的 . 不幸的是，似乎默认的YARN行为是在执行这些分配时仅考虑内存 . 幸运的是，这可以改变，请参阅链接的答案 .
我觉得被YARN上的所有文档都骗了，因为我发现没有提到这个变化是必需的，但是有很多关于如何设置vcore值的博客/帖子 .
1 回答
这个answer就是你要找的 . 不幸的是，似乎默认的YARN行为是在执行这些分配时仅考虑内存 . 幸运的是，这可以改变，请参阅链接的答案 .
我觉得被YARN上的所有文档都骗了，因为我发现没有提到这个变化是必需的，但是有很多关于如何设置vcore值的博客/帖子 .