1

我想安装 Zeppelin 以使用我现有的 Spark 集群。我使用了以下方式：

  • Spark Master（Hadoop 2.4 的 Spark 1.5.0）：
    • 齐柏林飞艇 0.5.5
  • 火花奴隶

我下载了 Zeppelin v0.5.5 并通过以下方式安装它：

mvn clean package -Pspark-1.5 -Dspark.version=1.5.0 -Dhadoop.version=2.4.0 -Phadoop-2.4 -DskipTests

我看到，本地 [*]主设置在没有我的 Spark 集群的情况下也可以工作（关闭 Spark 集群时笔记本也可以运行）。

我的问题：当我想将我的 Spark 集群用于 Streaming 应用程序时，它似乎无法正常工作。当我使用spark://my_server:7077作为主服务器时，我的 SQL 表为空 - 在本地模式下一切正常！

另请参阅描述该问题的我的另一个问题：Apache Zeppelin & Spark Streaming: Twitter Example only works local

我有什么问题吗

  • 通过“mvn clean packge”安装？
  • 在设置主网址？
  • Spark 和/或 Hadoop 版本（任何限制？？？）
  • 我是否必须在 zeppelin-env.sh 文件中设置一些特殊的东西（实际上是回到默认值）？？？
4

1 回答 1

2

问题是由缺少库依赖引起的！所以在搜索太久之前，首先检查依赖关系，是否缺少一个！

%dep
z.reset
z.load("org.apache.spark:spark-streaming-twitter_2.10:1.5.1")
于 2015-12-16T19:29:14.970 回答