什么是“spark.executor.memoryOverhead”和“spark.memory.fraction”？什么是默认属性
spark.memory.fraction参数可用于分别了解可用于存储的内存和可用于执行的内存 . 如果你在内存中缓存太多对象，那么你将需要更多的存储空间（spark.memory.fraction可以是0.5 / 0.6） . 但是，如果您使用内存主要用于执行目的，则需要内存可供执行（spark.memory.fraction可以是0.2 / 0.3） .
1 回答
spark.memory.fraction参数可用于分别了解可用于存储的内存和可用于执行的内存 . 如果你在内存中缓存太多对象，那么你将需要更多的存储空间（spark.memory.fraction可以是0.5 / 0.6） . 但是，如果您使用内存主要用于执行目的，则需要内存可供执行（spark.memory.fraction可以是0.2 / 0.3） .