1

我正在使用当前版本v0.5评估 Apache Zeppelin 。我有一个将 spark 注册为框架的 mesos 集群，然后我需要配置 Zeppelin 以连接到 mesos 上的远程 spark 集群。

我在conf/zeppelin-env.sh中 的配置是：

export MASTER=mesos://<mesos_ip>:5050
export MESOS_NATIVE_JAVA_LIBRARY=/usr/lib/libmesos.so
export ZEPPELIN_JAVA_OPTS="-Dspark.executor.uri=http://<public_host_url>/spark-1.4.0-bin-hadoop2.6.tgz"

但是当我执行引导命令并运行演示笔记本时，日志显示一些错误并且查询不起作用：

------ Create new SparkContext mesos://172.23.0.135:5050 -------
Failed to load native Mesos library from /usr/lib/libmesos.so
------ Create new SparkContext mesos://172.23.0.135:5050 -------
Failed to load native Mesos library from /usr/lib/libmesos.so

我找不到有关此错误消息的任何文档或源代码。而且我不明白原因，因为我在 /usr/lib 上有 libmesos.so，并且当我单独执行 spark-submmit 时，所有主机都可以正常工作。

4

2 回答 2

1

根据文档，您应该设置MESOS_NATIVE_JAVA_LIBRARY和SPARK_EXECUTOR_URI环境变量。

export MESOS_NATIVE_JAVA_LIBRARY=/usr/lib/libmesos.so
export SPARK_EXECUTOR_URI={YOUR_SPARK_DOWNLOAD_LOCATION}
于 2015-08-28T07:50:08.027 回答
0

您可以尝试设置如下内容吗？

export MESOS_NATIVE_LIBRARY=/usr/lib/libmesos.so
export SPARK_EXECUTOR_URI=http://<public_host_url>/spark-1.4.0-bin-hadoop2.6.tgz
于 2015-08-28T05:27:30.693 回答