首页 文章
  • 2 votes
     answers
     views

    Spark执行内存监控

    我想要的是能够监控Spark execution memory 而不是SparkUI中可用的 storage memory . 我的意思是，执行内存 NOT executor memory . 通过执行内存我的意思是： 此区域用于在执行混洗，连接，排序和聚合时缓冲中间数据 . 该区域的大小通过spark.shuffle.memoryFraction（default0.2）配置 . 根据：S...
    apache-spark memory memory-management unified-memory

热门问题