我们可以在哪种部署模式中“不”将节点添加到Apache Spark 2.3.1中的集群

我们可以在哪种部署模式中将节点/工作者添加到Apache Spark 2.3.1中的集群

1.Spark Standalone 2.Mesos 3.Kubernetes 4.Yarn 5.Local Mode

我在我的机器上安装了Apache Spark 2.3.1并在本地模式下运行它

在本地模式中,我们可以将节点/工作者添加到Apache Spark吗?

回答(1)

3 years ago

当master是Local时,您的程序将在作为边缘节点的单个机器上运行 . 要在分布式环境(即群集)中运行它,您需要选择master作为“Yarn” .

当部署模式为“client”(默认)时,您的边缘节点将成为主节点(将运行驱动程序) . 当部署模式为“群集”时,群集中的任何 Health 节点都将成为主节点