11

我已经在一组集群上独立安装了 spark。我尝试通过集群启动脚本启动集群。我已将集群的 IP 地址添加到 conf/slaves 文件中。主服务器通过无密码 ssh 连接到所有从服务器。运行./bin/start-slaves.sh脚本后，我收到以下消息：

启动 org.apache.spark.deploy.worker.Worker，登录到 /root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1 -jbosstest2.out

但是 master 的 webUI (localhost:8080) 没有显示任何关于 worker 的信息。但是当我将 localhost 条目添加到我的 conf/slaves 文件时，会显示 localhost 的工作人员信息。

没有错误消息，终端上的消息说工作人员已启动，但 WebUI 未显示任何工作人员。

4

5 回答 5

6

我有同样的问题。我注意到当我无法从奴隶 telnet master:port 时。在我的 etc/hosts 文件（在主服务器上）中，我有一个 127.0.0.1 主条目（在我的 192.168.0.x 主条目之前）。当我从我的 etc/hosts 文件中删除 127.0.0.1 条目时，我可以远程登录，当我 start-slaves.sh（来自主服务器）时，我的奴隶连接

于 2015-03-20T23:46:05.860 回答
2

运行集群时，检查$jps工作节点中的命令，检查其是否正确启动，并使用工作人员的 PID 在日志中检查它。

或者

设置以下内容：运行集群并使用您配置的端口检查端口是否已启动

export SPARK_MASTER_WEBUI_PORT=5050
export SPARK_WORKER_WEBUI_PORT=4040
于 2013-11-11T09:49:24.517 回答
0

check your /etc/hosts and see the bindings for master

If your master is binding to localhost as well as ip address (eg 192.168.x.x), remove localhost. if you have local host intact master will be mapped to localhost which wont allow slaves to connect to master Ip address

于 2015-07-07T14:28:24.520 回答
0

我遇到了同样的问题，最后通过添加以下行来解决$SPARK_HOME/conf/spark-env.sh：

SPARK_MASTER_HOST=your_master_ip_address
于 2020-01-18T20:27:14.080 回答
0

您可以使用：./start-master.sh --host 192.168.x.x而不是更改文件：/etc/hosts

于 2017-03-18T09:29:16.627 回答