我们可以在哪种部署模式中将节点/工作者添加到Apache Spark 2.3.1中的集群
1.Spark Standalone 2.Mesos 3.Kubernetes 4.Yarn 5.Local Mode
我在我的机器上安装了Apache Spark 2.3.1并在本地模式下运行它
在本地模式中,我们可以将节点/工作者添加到Apache Spark吗?
当master是Local时,您的程序将在作为边缘节点的单个机器上运行 . 要在分布式环境(即群集)中运行它,您需要选择master作为“Yarn” .
当部署模式为“client”(默认)时,您的边缘节点将成为主节点(将运行驱动程序) . 当部署模式为“群集”时,群集中的任何 Health 节点都将成为主节点
1 回答
当master是Local时,您的程序将在作为边缘节点的单个机器上运行 . 要在分布式环境(即群集)中运行它,您需要选择master作为“Yarn” .
当部署模式为“client”(默认)时,您的边缘节点将成为主节点(将运行驱动程序) . 当部署模式为“群集”时,群集中的任何 Health 节点都将成为主节点