apache-spark - Spark master 机器上 Executors 的角色

Question

在 Spark 独立集群中，Master 节点是否也运行任务？我不确定是否有 Executors 进程在 Master 节点上启动并与 Worker 节点一起工作。

谢谢！

Answer 1

Executors 只会在该节点上至少有一个 worker 守护进程的节点上启动，即不会在不作为 Worker 的节点上启动执行器。

但是，Master 和 Worker 的启动位置都取决于您的决定，没有 Master 和 Worker 不能在同一个节点上共存的限制。

要在与您的主节点相同的机器上启动一个工作守护进程，您可以编辑该conf/slaves文件以在其中添加主 IP 并在启动时使用 start-all.sh 或在您想要的任何时间在主节点上启动一个工作，start-slave.sh并且提供 Spark 主 URL--master spark://master-host:7077

更新（基于 Daniel Darabos 的建议）：

当引用Application Detail UI'sExecutors选项卡时，您还可以找到一行有<driver>它的Executor ID，它表示的驱动程序是您的作业被调度和监视的过程，它正在运行main您提交给 spark 集群的程序，在 RDD 上分割您的转换和操作进入阶段，将阶段安排为任务集并安排executors运行任务。

这<driver>将在您调用的节点上启动spark-submit，client mode或者在其中一个工作节点上启动cluster mode