spark yarn cluster:如何配置物理节点每次只运行一个executor \ task?

我有一个环境,它结合了4个物理节点和少量RAM,每个节点有8个CPU核心 . 我注意到spark会自动决定拆分每个CPU的RAM . 结果是发生了内存错误 . 我正在使用大数据结构,我希望每个 Actuator 都有物理节点上的整个RAM内存(否则我会收到内存错误) . 我尝试在'yarn-site.xml'文件中配置'yarn.nodemanager.resource.cpu-vcores 1'或在spark-defaults.conf上配置'spark.driver.cores 1',但没有成功 .

回答(1)

3 years ago

尝试设置 spark.executor.cores 1