我在CDH 5.7.0上，我可以看到在YARN集群上运行spark 2的一个奇怪问题 . 下面是我的工作提交命令
spark2-submit --master yarn --deploy-mode cluster --conf“spark.executor.instances = 8”--conf“spark.executor.cores = 4”--conf“spark.executor.memory = 8g” --conf“spark.driver.cores = 4”--conf“spark.driver.memory = 8g”--class com.learning.Trigger learning-1.0.jar
即使我限制了我的工作可以使用的群集资源的数量，我也可以看到资源利用率超过分配的数量 .
这项工作从基本的内存消耗开始，比如8G的内存，并且会让我们吃掉整个集群 .
我 do not 将动态分配设置为true . 我只是在 SparkSession 之上触发INSERT OVERWRITE查询 .
任何指针都会非常有用 .