0

我有两台机器 A 和 B。我试图在机器 A 上运行 Spark Master，在机器 B 上运行 Spark Worker。我conf/slaves在我的 Spark 目录中设置了机器 B 的主机名。

当我执行start-all.sh启动 master 和 worker 时，我在控制台上收到以下消息：

abc@abc-vostro:~/spark-scala-2.10$ sudo sh bin/start-all.sh 
sudo: /etc/sudoers.d is world writable
starting spark.deploy.master.Master, logging to /home/abc/spark-scala-2.10/bin/../logs/spark-root-spark.deploy.master.Master-1-abc-vostro.out
13/09/11 14:54:29 WARN spark.Utils: Your hostname, abc-vostro resolves to a loopback address: 127.0.1.1; using 1XY.1XY.Y.Y instead (on interface wlan2)
13/09/11 14:54:29 WARN spark.Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Master IP: abc-vostro
cd /home/abc/spark-scala-2.10/bin/.. ; /home/abc/spark-scala-2.10/bin/start-slave.sh 1 spark://abc-vostro:7077
xyz@1XX.1XX.X.X's password: 
xyz@1XX.1XX.X.X: bash: line 0: cd: /home/abc/spark-scala-2.10/bin/..: No such file or directory
xyz@1XX.1XX.X.X: bash: /home/abc/spark-scala-2.10/bin/start-slave.sh: No such file or directory

Master 已启动，但 worker 无法启动。

我已经在我的 Spark 目录中设置xyz@1XX.1XX.X.X了conf/slaves。

谁能帮我解决这个问题？这可能是我缺少任何配置的东西。

但是，当我在同一台机器上创建 Spark Master 和 Worker 时，它工作正常。

4

3 回答 3

1

您是否也将所有 Spark 的文件都复制到了 worker 中？您还需要设置无密码访问 b/w master 和 worker。

于 2013-09-28T03:39:53.700 回答
0

这是我要遵循的步骤，

  • 通过 SSH 设置公钥身份验证
  • 检查 /etc/spark/conf.dist/spark-env.sh
  • 从计算机 A（主）将此 scp 到您的计算机 B
  • 为计算机 B 设置 conf/slaves、主机名
  • ./start-all.sh

对于独立集群模式，您可以在 spark-env.sh 中设置这些选项。例如，

  • 导出 SPARK_WORKER_CORES=2
  • 导出 SPARK_WORKER_INSTANCES=1
  • 导出 SPARK_WORKER_MEMORY=4G
于 2014-12-01T03:49:03.577 回答
-1

请参阅 SSH ACCESS，在 michael 的 hadoop 多节点集群设置中。就这样..将解决您的问题..

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

于 2013-11-11T09:58:20.847 回答