我在4节点集群上提交了一个作业,我看到,大多数操作发生在其中一个工作节点上,而其他两个操作只是放松了 .

下面的图片说明了这一点 -
enter image description here

如何正确分配负载?

我的集群conf(4节点集群[1个驱动程序; 3个从属]) -

核心 - 6 RAM - 12 GB HDD - 60 GB

我的Spark提交命令如下 -

spark-submit --master spark://192.168.49.37:7077 --num-executors 3 --executor-cores 5 --executor-memory 4G /appdata/bblite-codebase/prima_diabetes_indians.py

如何解决问题?