问题标签 [apache-zeppelin]

我从 Spark 存储库中提取了最新的源代码并在本地构建。spark-shell它在像or的交互式 shell 中工作得很好spark-sql。

现在我想根据这个安装手册将 Zeppelin 连接到我的 Spark 1.5 。我将自定义 Spark 构建发布到本地 maven 存储库，并在 Zeppelin 构建命令中设置自定义 Spark 版本。构建过程成功完成，但是当我尝试在笔记本内部运行基本的东西时sc，它会抛出：

akka.ConfigurationException：Akka JAR 版本 [2.3.11] 与提供的配置版本 [2.3.4] 不匹配

版本 2.3.4 设置在pom.xmland中spark/pom.xml，但简单地更改它们甚至不会让我获得构建。

如果我用标准重建 Zeppelin -Dspark.vesion=1.4.1，一切正常。

我registertemptable在下面Apache Spark使用Zeppelin：

在我用这个临时表完成我的查询后，我该如何删除它？

我检查了所有文档，似乎我无处可去。

有什么指导吗？

我尝试在 Apache Zeppelin 中运行以下简单命令。

我尝试在笔记本上打印出结果。但不幸的是，我只得到以下输出。

如何将计数的内容溢出到 Zeppelin 的笔记本中？

以上开始并运行良好，但我似乎无法阻止它。对 %sql show tables 的任何调用都将冻结。

我如何停止上面的 StreamingContext ？

我在独立模式下设置了一个简单的 Spark 集群，并希望将 Apache Zeppelin 用作交互式 Spark“便签本”。不幸的是，当SparkContext它启动时，它占据了我的实验集群上的所有核心。我知道有一个名为“动态分配”的新功能，但它只适用于 YARN。我在这个集群上没有 YARN，我不想运行成熟的 Hadoop 堆栈，因为我想使用 Cassandra 作为数据后端。

如果不使用 YARN，这是否可能？

I have an aws ec2 cluster setup by the spark-ec2 script.

I would like to configure Zeppelin so that I can write scala code locally on Zeppelin and run it on the cluster (via master). Furthermore I would like to be able to access my s3 buckets.

I followed this guide and this other one however I can not seem to run scala code from zeppelin to my cluster.

I installed Zeppelin locally with

My security groups were set to both AmazonEC2FullAccess and AmazonS3FullAccess.

I edited the spark interpreter properties on the Zeppelin Webapp to spark://.us-west-2.compute.amazonaws.com:7077 from local[*]

1. When I test out

   in the interpreter, I recieve this error

   /li>

2. When I try to edit "conf/zeppelin-site.xml" to change my port to 8082, no difference.

NOTE: I eventually would also want to access my s3 buckets with something like:

if any benevolent users have any advice (that wasn't already posted on StackOverflow) please let me know!

我有带有 Spark 1.4.1 和 Yarn 资源管理器的 Amazon EMR Hadoop v2.6 集群。我想在单独的机器上部署 Zeppelin 以允许在没有作业运行时关闭 EMR 集群。

我尝试按照此处https://zeppelin.incubator.apache.org/docs/install/yarn_install.html的说明进行操作， 但收效甚微。

有人可以揭开 Zeppelin 应该如何从不同机器连接到现有 Yarn 集群的步骤吗？

我正在尝试使用 spark 1.5.0 从源代码构建 zeppelin，但我的构建失败并出现以下错误

不知道为什么会这样。

我还没有在这台机器上安装 hadoop，但我认为这在构建时不会成为问题。但我安装了 spark 1.5。

这是其他细节

有人可以帮我吗？

我刚刚安装了 apache zeppelin（从 gi​​t repo 的最新源代码构建）并成功地看到它在端口 10008 中启动并运行。我用一行代码创建了一个新的笔记本

并运行此段并看到以下错误

java.net.ConnectException：在 java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) 的 java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) 的 java.net.PlainSocketImpl.socketConnect(Native Method) 连接被拒绝在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) 在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) 在 java.net.Socket.connect(Socket.java:589) 在 org.apache。 thrift.transport.TSocket.open(TSocket.java:182) at org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51) at org.apache.zeppelin.interpreter.remote.ClientFactory.create( ClientFactory.java:37) 在 org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60) 在 org.apache.commons.pool2.impl。org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) 在 org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java: 363）在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter.init（RemoteInterpreter.java:137）在 org.apache.zeppelin .interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:257) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:104) at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java :197) 在 org.apache.zeppelin.scheduler.Job.run(Job.java:170) 在 org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner。在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent 运行(RemoteScheduler.java:304) .ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)

有什么线索吗？

我的后端是 spark 1.5，我通过解释器的 web 界面验证了 zeppelin 指向正确版本的 spark 和适当的 spark.home。

我正在评估 Spark Notebook，发现了三种不同的产品；1. Hue 3.9 自带 Spark notebook (beta) 2. Apache zeppelin 3. andypetrella/spark-notebook。

你能帮我了解每种产品的优缺点吗

谢谢帕尼