假设我有一个拥有1个主节点，3个核心节点和5个任务节点的集群 . 如果我在YARN集群模式下运行spark作业，驱动程序将在主节点上运行（主节点也可以运行执行程序吗？），每个容器可以有X个执行程序 . 我有3 5 = 8个容器吗？或者只有3个容器，因为只有核心节点可以存储数据？
另外，如果我有两个同时运行的spark作业，每个节点有2个独立的容器，每个spark作业有1个，或者2个spark jobs的 Actuator 每个节点共用1个容器吗？
如果用户可以设置Yarn容器的数量，即总cluter memory / memory per，那么节点的物理数量是否重要？
1 回答
Spark驱动程序不在主节点上运行 . 主节点仅用于Yarn /资源管理器，Spark驱动程序在核心节点上运行 .
如果运行两个Spark作业，则它们将在单个节点或不同节点中的不同容器上运行 .
驱动程序在核心节点上运行，任务执行程序通常在任务节点上运行，但您可以将它们配置为在核心/任务节点上运行 .