在Spark独立集群中,主节点是否也运行任务?我不确定Executors进程是否在Master节点上运行并且与Worker节点一起工作 .
谢谢!
执行程序只能在该节点上至少有一个工作守护程序的节点上启动,即,在不作为工作程序的节点中启动执行程序 .
但是,从哪里开始Master和Workers都是基于您的决定,没有Master和Worker无法在同一节点上共同定位的限制 .
要使用主服务器启动工作守护程序与同一台计算机,您可以编辑 conf/slaves 文件以在其中添加主IP并在启动时使用start-all.sh或在主节点上随时启动工作程序, start-slave.sh 并提供Spark主URL --master spark://master-host:7077
conf/slaves
start-slave.sh
--master spark://master-host:7077
更新(根据Daniel Darabos的建议):
当引用 Application Detail UI 的 Executors 选项卡时,您还可以找到 <driver> 的 <driver> 行,它表示的驱动程序是您的作业被安排和监控的过程,它正在运行您提交给火花集群的 main 程序,切割您的将RDD转换为阶段,将阶段调度为任务集并安排 executors 来运行任务 .
Application Detail UI
Executors
<driver>
main
executors
<driver> 将在 client mode 中调用 spark-submit 的节点上启动,或者在 cluster mode 中的某个工作节点上启动
client mode
spark-submit
cluster mode
1 回答
执行程序只能在该节点上至少有一个工作守护程序的节点上启动,即,在不作为工作程序的节点中启动执行程序 .
但是,从哪里开始Master和Workers都是基于您的决定,没有Master和Worker无法在同一节点上共同定位的限制 .
要使用主服务器启动工作守护程序与同一台计算机,您可以编辑
conf/slaves
文件以在其中添加主IP并在启动时使用start-all.sh或在主节点上随时启动工作程序,start-slave.sh
并提供Spark主URL--master spark://master-host:7077
更新(根据Daniel Darabos的建议):
当引用
Application Detail UI
的Executors
选项卡时,您还可以找到<driver>
的<driver>
行,它表示的驱动程序是您的作业被安排和监控的过程,它正在运行您提交给火花集群的main
程序,切割您的将RDD转换为阶段,将阶段调度为任务集并安排executors
来运行任务 .<driver>
将在client mode
中调用spark-submit
的节点上启动,或者在cluster mode
中的某个工作节点上启动