Spark工作者和执行者核心

我有一个在HDFS之上以YARN模式运行的Spark Cluster . 我推出了一个拥有2个内核和2g内存的工作者 . 然后我提交了一个动态配置1个 Actuator 和3个核心的作业 . 不过,我的工作能够运行 . 有人可以解释启动工作者的核心数量与执行者请求的核心数量之间的差异 . 我的理解是,由于执行人员在 Worker 内部运行,他们无法获得比 Worker 可用资源更多的资源 .

回答(2)

3 years ago

检查yarn-site.xml中的参数yarn.nodemanager.resource.cpu-vcores .

yarn.nodemanager.resource.cpu-vcores控制每个节点上容器使用的最大内核总数 .

3 years ago

  • Spark在工作节点内启动了许多执行程序 . - > Spark使用核心数和执行程序内存参数在应用程序提交到spark集群时启动执行程序 . - >在spark提交中,我们不能指定工作节点的核心数 .