apache-spark - Spark Driver 在集群模式下运行在哪里，可以控制吗？

Question

虽然我有几个文档表明驱动程序在其自己的节点上运行，该节点是主节点，从节点上的执行器也称为 Worker，但我对此感到困惑。因此，如果可能，我想确认以下内容：

Driver 在什么类型的集群上运行：

1. 独立
2. 纱
3. 梅索斯

所以我想我有 2 的答案，即 master 中的驱动程序。但是我不确定 1 和 3。有人可以帮忙澄清一下吗？

最后，如果驱动程序与执行程序共享一个节点，这是否意味着当我们调整集群节点的大小时，我们需要考虑到实际上可能在其上运行更多线程并且内存使用量可能更大？换句话说，我们应该系统地超大我们的节点以考虑潜在的驱动因素。

Answer 1

所有集群管理器都有客户端模式和集群模式的概念。客户端模式意味着驱动程序从创建提交请求的位置运行。这并不意味着驱动程序必须从主节点执行，只有当您从主节点提交应用程序时才会这样做。

例如，如果我将应用程序从本地 IDE 提交到 Spark Master，驱动程序将在我的本地计算机上运行。