YARN集群模式下Spark容器的入口点是什么？

提问于 2024-04-18T22:07:14+08:00

浏览次

1

在Yarn集群模式（Spark 1.2.0）中运行Spark作业时，Spark Actuator 的主要入口点是什么？

我正在寻找的是Executor入口点的Scala类名（它将是执行从属机器上的任务之一的进程） .

2 回答

2

我想你所问的是org.apache.spark.executor.Executor或者org.apache.spark.executor.Executor$TaskRunner . 它最终将是 TaskRunner .

它与部署模式（ client vs cluster ）或使用的集群管理器无关，即Hadoop YARN或Spark Standalone或Apache Mesos .

回复于 2024-04-18T22:07:14+08:00
2
```
spark-submit --class [FULLY QUALIFIED CLASS NAME]
             --master yarn-cluster
             [JAR_TO_USE]
```
因此，鉴于上述情况，要使用的类是指定的类，它从给定的jar加载，并在该类中搜索 static main 方法 .

来自SparkSubmit.scala：
```
val mainMethod = mainClass.getMethod("main", new Array[String](0).getClass)
```
回复于 2024-04-18T22:07:14+08:00

相关问题