首页 文章

执行程序在Spark主机上的作用

提问于
浏览
3

在Spark独立集群中,主节点是否也运行任务?我不确定Executors进程是否在Master节点上运行并且与Worker节点一起工作 .

谢谢!

1 回答

  • 3

    执行程序只能在该节点上至少有一个工作守护程序的节点上启动,即,在不作为工作程序的节点中启动执行程序 .

    但是,从哪里开始Master和Workers都是基于您的决定,没有Master和Worker无法在同一节点上共同定位的限制 .

    要使用主服务器启动工作守护程序与同一台计算机,您可以编辑 conf/slaves 文件以在其中添加主IP并在启动时使用start-all.sh或在主节点上随时启动工作程序, start-slave.sh 并提供Spark主URL --master spark://master-host:7077

    更新(根据Daniel Darabos的建议):

    当引用 Application Detail UIExecutors 选项卡时,您还可以找到 <driver><driver> 行,它表示的驱动程序是您的作业被安排和监控的过程,它正在运行您提交给火花集群的 main 程序,切割您的将RDD转换为阶段,将阶段调度为任务集并安排 executors 来运行任务 .

    <driver> 将在 client mode 中调用 spark-submit 的节点上启动,或者在 cluster mode 中的某个工作节点上启动

相关问题