1

我正在尝试在本地托管一个 spark 独立集群。我在 LAN 上连接了两台异构机器。下面列出的每个架构都在 docker 上运行。我有以下配置

  • 机器 1 上的主机（端口 7077 暴露）
  • 机器 1 上的工人
  • 机器 2 上的驱动程序

我使用一个测试应用程序来打开一个文件并计算它的行​​数。当文件复制到所有工作人员和我使用时，该应用程序工作SparkContext.readText()

但是，当我用来在工作人员上访问文件时，当文件仅存在于工作人员上时SparkContext.parallelize()，我有以下显示：

INFO StandaloneSchedulerBackend: Granted executor ID app-20180116210619-0007/4 on hostPort 172.17.0.3:6598 with 4 cores, 1024.0 MB RAM
INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20180116210619-0007/4 is now RUNNING
INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20180116210619-0007/4 is now EXITED (Command exited with code 1)
INFO StandaloneSchedulerBackend: Executor app-20180116210619-0007/4 removed: Command exited with code 1
INFO StandaloneAppClient$ClientEndpoint: Executor added: app-20180116210619-0007/5 on worker-20180116205132-172.17.0.3-6598 (172.17.0.3:6598) with 4 cores```

在没有实际计算应用程序的情况下不断重复。

当我将驱动程序与工人放在同一台电脑上时，这是可行的。所以我猜想在网络上的这两个之间存在某种连接。您是否知道这样做的方法（要打开哪些端口，要在 /etc/hosts 中添加哪个地址...）

4

1 回答 1

3

TL;DR确保spark.driver.host:spark.driver.port可以从集群中的每个节点访问。

一般来说，您必须确保所有节点（执行程序和主节点）都可以访问驱动程序。

  • 在集群模式下，驱动程序在其中一个执行程序上运行，只要没有为连接关闭端口（见下文），默认情况下就可以满足这一要求。
  • 在客户端模式下，驱动程序已启动的机器必须可以从集群访问。这意味着spark.driver.host必须解析为可公开访问的地址。

在这两种情况下，您都必须记住，默认情况下驱动程序在随机端口上运行。可以通过设置使用固定的spark.driver.port。显然，如果您想同时提交多个应用程序，这不会那么好。

此外：

当文件仅存在于工作人员时

不会工作。所有输入都必须可以从驱动程序以及每个执行程序节点访问。

于 2018-01-16T21:28:53.720 回答