YARN集群模式下Spark容器的入口点是什么?

在Yarn集群模式(Spark 1.2.0)中运行Spark作业时,Spark Actuator 的主要入口点是什么?

我正在寻找的是Executor入口点的Scala类名(它将是执行从属机器上的任务之一的进程) .

回答(2)

2 years ago

我想你所问的是org.apache.spark.executor.Executor或者org.apache.spark.executor.Executor$TaskRunner . 它最终将是 TaskRunner .

它与部署模式( client vs cluster )或使用的集群管理器无关,即Hadoop YARN或Spark Standalone或Apache Mesos .

2 years ago

spark-submit --class [FULLY QUALIFIED CLASS NAME]
             --master yarn-cluster
             [JAR_TO_USE]

因此,鉴于上述情况,要使用的类是指定的类,它从给定的jar加载,并在该类中搜索 static main 方法 .

来自SparkSubmit.scala

val mainMethod = mainClass.getMethod("main", new Array[String](0).getClass)