什么是计算--executor-memory --num-executors --executor-cores in spark的最佳方法

1 回答

• -1

  如果我们有以下硬件然后计算火花

  • 6节点

  • 16代码

  • 64 GB的Ram

  Calculations:

  每个遗嘱执行人

  • 5核心

  • • 最大HDFS吞吐量

  • 群集总共有6 * 15 = 90个核心

  • afer取出Hadoop / Yarn守护进程核心）

  • 90芯/ 5芯/ Actuator （19/5 = 18-1）

  • = 18位遗嘱执行人

  • 每个节点有3个执行程序

  • 63 GB / 3 = 21 GB，21 *（1 -0,07）

  • ~19 GB

  • 1执行者为AM => 17执行人

  ---

  Ans

  • 17执行人员

  • 19 GB内存/执行程序

  • 5核/执行者

  ---

  • 执行者数量（--num -executors）
    每个执行者

  • Coures（ - executorr-cores）

  • 每个执行者的内存（--executor-memory）

  

  ---

  Executer-memory控制堆大小：

  • 节点一些开销（由spark.yarn.executor.memory.overhead控制）关闭堆内存默认为max（384 MB，.07 * Spark.executer.memory）

  ---

  Spark Memory Management

  

  • https://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/

  • https://help.talend.com/reader/MFikL3ufPzqRQ0FnpvF7IA/UfPZ4ym6etEiI5zdNxcksA

  • https://community.hortonworks.com/articles/42803/spark-on-yarn-executor-resource-allocation-optimiz.html

  回复于 2024-04-26T11:39:23+08:00