我正在做一个像spark这样的spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar
在web ui中，我确实可以看到有3个 Actuator 节点，但每个节点都有2G内存 . 当我设置--executor-memory 2G时，ui每个节点显示1G .
如何将我的设置减少1/2？
Web UI的执行程序页面显示了存储内存量，默认情况下等于Java堆的54％（spark.storage.safetyFraction 0.9 * spark.storage.memoryFraction 0.6）
1 回答
Web UI的执行程序页面显示了存储内存量，默认情况下等于Java堆的54％（spark.storage.safetyFraction 0.9 * spark.storage.memoryFraction 0.6）