问题标签 [apache-zeppelin]

我已经在我的 aws EC2 机器上安装了Zeppelin以连接到我的 spark 集群。

Spark 版本： 独立：spark-1.2.1-bin-hadoop1.tgz

在我的用例中尝试访问 S3 中的文件时，我能够连接到 spark 集群但出现以下错误。

代码：

我通过以下命令构建了 Zeppelin：

当我尝试使用 hadoop 配置文件“-Phadoop-1.0.4”构建时，它会警告它不存在。

我也试过这个spark 网站中提到的 -Phadoop-1 。但得到了同样的错误。 1.x 到 2.1.x hadoop-1

请让我知道我在这里缺少什么。

我刚刚在我的 Mac (Yosemite 10.10.3) 上安装了以下内容：

• oracle java 1.8 更新 45
• 斯卡拉 2.11.6
• spark 1.4（预编译版本：http ://d3kbcqa49mib13.cloudfront.net/spark-1.4.0-bin-hadoop2.6.tgz ）
• zeppelin 来自源 ( https://github.com/apache/incubator-zeppelin ) 没有额外的配置，只是从模板中复制了创建的 zeppelin-env.sh 和 zeppelin-site.xml。没有编辑。

我遵循了安装指南：https ://zeppelin.incubator.apache.org/docs/install/install.html

我已经毫无问题地构建了 zeppelin：

开始了

打开http://localhost:8080并打开教程笔记本。这是我刷新片段时发生的情况：

以下是 webapp 日志中 md 解释器的例外情况：

重新启动解释器似乎不会导致错误。

是否可以在 AngularJS 中嵌入外部 HTML 页面？例如，如果我在“localhost:8080/mypage/5533n”有一个页面，有没有一种简单的方法可以嵌入到我的 Angular 应用程序中？

我有一个要显示的图表/表格，但我一直遇到 Lexer 错误，有时我已经修复了 CORS 问题。我正在使用以下代码：

我正在使用带有 Spark1.3.1 和 Hadoop 版本 2.6 的 Zeppelin 笔记本。我可以毫无问题地运行随附的整个教程。

然后我创建了新的笔记本来运行简单的代码，该代码从存储在本地机器上的 HDFS 中的 parquet 文件中获取数据。以下是代码：

这失败并显示以下错误消息：

我还尝试添加以下依赖项：

顺便说一句，当我尝试运行时，%sql select * from Alarm出现以下错误：

这也没有运气。有人可以帮忙吗？

一位同事终于找到了解决办法，根本原因是json4s不兼容。以防其他人面临同样的问题。它是由不兼容的 json4s 引起的。要解决此问题，我需要更新以下内容：

修改 zeppelin-server/pom.xml 使用 swagger-jersey-jaxrs_2.10 版本 1.3.11

修改 zeppelin-engine/pom.xml 以使用 org.reflections 版本 0.9.9-RC1

导出 MAVEN_OPTS='-Xmx2048m -XX:MaxPermSize=2048m'

为 hadoop2.6 和 Spark1.3 编译 mvn clean package -Pspark-1.3 -Dhadoop.version=2.6.0 -Phadoop-2.6 -DskipTests

在 Ubuntu 14 上成功构建 apache zepellin 后，我启动了 zeppelin，它说已成功启动，但是当我转到 localhost:8080 时，Firefox 显示无法连接错误，就像它没有启动一样，但是当我从终端检查 Zeppelin 状态时，它说正在运行并且还我刚刚复制了配置文件模板，所以配置文件是默认的

更新

将端口更改为8090，这是配置文件，但结果没有变化

这是zeppelin启动后处于监听状态的端口

并且Zeppelin is running [ OK ] 是我运行命令时得到的响应bin/zeppelin-daemon.sh status

我正在尝试使用 windows 和 babun/cygwin 在本地构建 zeppelin。这个网站让我朝着正确的方向前进，但是当构建到 Web 应用程序时我遇到了以下错误：

我可以进入zeppelin-web目录并bower install成功运行，但我不知道从哪里开始？如果我尝试这样做mvn install -DskipTests，它会尝试bower再次运行该命令。

如果我尝试“继续”并尝试在其下构建../zeppelin-server，则会说它找不到zeppelin-web依赖项。

我想我想bower install按照上面网站的建议手动运行，但我不确定从那里去哪里？是否可以mvn从中断的地方继续？任何帮助或指导将不胜感激。

我已经在 ec2 集群上成功安装并启动了 Zeppelin，在 yarn 上使用 spark 1.3 和 hadoop 2.4.1。（如https://github.com/apache/incubator-zeppelin中给出的）

但是，我看到 zeppelin 以“断开连接”状态开始（在右上角）。根据日志，我发现 zeppelin 端口和 websocket 端口（zeppeling 端口 + 1）都已启动且没有错误。此外，这两个端口都没有被任何其他进程使用，我看到 zeppelin 进程 (pid) 在两个端口上运行。IP 表为空白。

日志：

zeppelin-env.sh：

在zeppelin-site.xml中，我只为 websocket 端口设置了服务器 ip 地址和端口以及 -1。

当我通过 chorme 访问 websocket 端口时，我得到“没有收到数据..err_empty_reponse”和“无法加载网页，因为服务器没有发送数据”错误。

我在安装或配置过程中遗漏了什么吗？任何帮助表示赞赏。谢谢。

我们正在尝试在带有 Vagrant 的 4 节点 CentOS 6 集群上建立 Zeppelin 的沙箱/评估实例，并且在构建过程中存在一些依赖关系问题。这是我们正在运行的高级脚本。

（已尝试将其作为特权帐户和用户运行，结果相同。）

重新创建步骤

• 从二进制安装 Hadoop 2.7.0
• 从二进制安装 Spark 1.4.0
• 从二进制安装 Maven 3.3.3

• 运行以下命令：

  /li>

堆栈跟踪

这是我们在构建 zeppelin-web 步骤时收到的堆栈跟踪的示例：

...

它会这样持续一段时间，然后整个构建失败。

TL;博士

在先决条件方面是否缺少某些东西，或者在文档中没有的 CentOS 6 上构建它是否有一些技巧？:) 此外，这已发布到 Zeppelin 用户委员会，因此也可以在那里/代替回答。

我在本地模型和集群模型中安装了 zeppelin。他们都安装并连接成功。但是集群模型无法处理我的代码，尽管有 zeppelin 示例。它启动并挂起并运行了很长时间，然后每次都导致此错误：

然后我打开日志目录并打开我的 zeppelin-interpreter-spark-pipeline-lls6.log。我粘贴错误日志信息：

错误 [2015-07-09 17:30:20,721] ({pool-1-thread-2} ProcessFunction.java[process]:41) - 内部错误处理 getProgress org.apache.zeppelin.interpreter.InterpreterException: java.util .concurrent.TimeoutException：在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68) 的 org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:76) 的 [10000 毫秒] 之后，期货超时) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.getProgress(RemoteInterpreterServer.java:297) 在 org.apache.zeppelin.interpreter 的 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress(LazyOpenInterpreter.java:109)。 thrift.RemoteInterpreterService$Processor$getProgress.getResult(RemoteInterpreterService.java:938）在 org.apache.thrift.ProcessFunction.process（ProcessFunction.java:39）在 org.apache.thrift. .TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)39) 在 org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)39) 在 org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)

bank-full.txt我移到目录下的例子hdfs。本地模型中没有出现同样的情况。

我们的集群是独立的。所有版本都是 spark-1.3 hadoop-2.0.0-CDH-4.5.0。在 conf 下，我添加了 Master url。有没有人遇到这种情况，告诉我如何解决。

谢谢大家！

我尝试将 apache zeppelin 与 EMR(Spark) Cluster 一起使用。我对使用带有开放防火墙的 apache zeppelin + EMR 集群有一些要求。在工作场所，有被防火墙阻止的静态ip。如您所知，每次使用 aws cli 命令创建 EMR 集群时，都应更改其 IP 和 DNS 名称。那么您知道如何使用固定 IP 将 apache zeppelin 服务器（EC2 实例）与 EMR 集群连接吗？提前致谢。