1

我是火花的新手，在使用 cloudera 管理器中可用的包裹安装火花后。

我已经配置了如下 cloudera 企业链接中所示的文件：

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.8.1/Cloudera-Manager-Installation-Guide/cmig_spark_installation_standalone.html

完成此设置后，我通过运行 /opt/cloudera/parcels/SPARK/lib/spark/sbin/start-all.sh 启动了 spark 中的所有节点。但是我无法运行工作节点，因为我得到了下面的指定错误。

[root@localhost sbin]# sh start-all.sh
org.apache.spark.deploy.master.Master running as process 32405. Stop it first.
root@localhost.localdomain's password: 
localhost.localdomain: starting org.apache.spark.deploy.worker.Worker, logging to /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain: failed to launch org.apache.spark.deploy.worker.Worker:
localhost.localdomain:      at java.lang.ClassLoader.loadClass(libgcj.so.10)
localhost.localdomain:      at gnu.java.lang.MainThread.run(libgcj.so.10)
localhost.localdomain: full log in /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain:starting org.apac

当我运行 jps 命令时，我得到：

23367 Jps
28053 QuorumPeerMain
28218 SecondaryNameNode
32405 Master
28148 DataNode
7852 Main
28159 NameNode

我无法正确运行工作节点。实际上我想安装一个独立的火花，让主人和工人在一台机器上工作。在 spark 目录的 slaves 文件中，我将地址指定为“localhost.localdomin”，这是我的主机名。我不知道这个设置文件。请任何一个云帮助我完成这个安装过程。实际上我无法运行工作节点。但我可以启动主节点。

谢谢和问候， 比普斯

4

1 回答 1

1

请注意以下错误信息：

localhost.localdomain:      at java.lang.ClassLoader.loadClass(libgcj.so.10)

在确保我的服务器上安装了libgcj.x86_64和libgcj.i686之后，我在 CentOS 6.2 x86_64 上安装和启动 Spark master/workers 时遇到了同样的错误，最后我解决了。下面是我的解决方案，希望对你有所帮助。

好像您的 JAVA_HOME 环境参数设置不正确。
也许，您的 JAVA_HOME 链接到系统嵌入式 java，例如 java 版本“1.5.0”。
Spark 需要 java 版本 >= 1.6.0。如果您使用 java 1.5.0 启动 Spark，您将看到此错误信息。
尝试导出 JAVA_HOME="your java home path"，然后再次启动 Spark。

于 2014-06-13T11:16:17.730 回答