我有一个环境,它结合了4个物理节点和少量RAM,每个节点有8个CPU核心 . 我注意到spark会自动决定拆分每个CPU的RAM . 结果是发生了内存错误 . 我正在使用大数据结构,我希望每个 Actuator 都有物理节点上的整个RAM内存(否则我会收到内存错误) . 我尝试在'yarn-site.xml'文件中配置'yarn.nodemanager.resource.cpu-vcores 1'或在spark-defaults.conf上配置'spark.driver.cores 1',但没有成功 .
1 回答
尝试设置
spark.executor.cores 1