15

我刚刚安装了 apache zeppelin（从 gi​​t repo 的最新源代码构建）并成功地看到它在端口 10008 中启动并运行。我用一行代码创建了一个新的笔记本

val a = "Hello World!"

并运行此段并看到以下错误

java.net.ConnectException：在 java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206) 的 java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) 的 java.net.PlainSocketImpl.socketConnect(Native Method) 连接被拒绝在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188) 在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) 在 java.net.Socket.connect(Socket.java:589) 在 org.apache。 thrift.transport.TSocket.open(TSocket.java:182) at org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:51) at org.apache.zeppelin.interpreter.remote.ClientFactory.create( ClientFactory.java:37) 在 org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60) 在 org.apache.commons.pool2.impl。org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) 在 org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java: 363）在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter.init（RemoteInterpreter.java:137）在 org.apache.zeppelin .interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:257) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:104) at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java :197) 在 org.apache.zeppelin.scheduler.Job.run(Job.java:170) 在 org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner。在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent 运行(RemoteScheduler.java:304) .ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)

有什么线索吗？

我的后端是 spark 1.5，我通过解释器的 web 界面验证了 zeppelin 指向正确版本的 spark 和适当的 spark.home。

4

11 回答 11

6

该错误也可能是由于 Zeppelin 尝试创建解释器时发生的错误。

Zeppelin 在不同的进程中启动解释器并尝试使用 Thrift 协议连接

在我的情况下，我尝试在 spark-defaults.conf 中为 spark 驱动程序分配 5GB 时出现此错误，在评论此行时已解决（或分配 4g 或更少）

#spark.driver.memory              5g

你可以看看这个 JIRA ZEPPELIN-305

编辑：

此错误可能是由阻止 Spark 解释器进程启动的任何原因引起的。最近，当我尝试将 JMX 选项添加到 ZEPPELIN_JAVA_OPTS 时，我得到了它，这导致解释器进程使用与 Zeppelin 进程相同的 JMX 端口。给出“端口已在使用”错误

请检查 Zeppelin 日志（默认情况下，它们位于 ZEPPELIN_DIR/logs/ 以查看 Zeppelin 尝试启动 Spark Interpreter 时发生的情况

于 2015-11-10T10:51:36.570 回答
3

像下面的 [1] 这样的错误堆栈可能意味着很多不同的事情。Zeppelin Server 无法连接到本地解释器，因为它没有启动或死亡。这似乎是一个 Zeppelin 错误，因为当interpreter.sh 退出而不创建 Zeppelin 解释器进程时它无法捕获，提交https://issues.apache.org/jira/browse/ZEPPELIN-1984以跟踪它。

在我们所有具有不同根本原因的案例中，真正的错误只有在您添加

LOG="/tmp/interpreter.sh-$$.log"
date >> $LOG
set -x
exec >> $LOG
exec 2>&1

到 $ZEPPELIN_HOME/bin/interpreter.sh 所以 /tmp/interpreter.sh-*.log 文件会告诉你实际的问题。

[1]

错误 [2017-01-18 16:54:38,533] ({pool-2-thread-2} NotebookServer.java[afterStatusChange]:1645) - 错误 org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin。 interpreter.InterpreterException: org.apache.thrift.transport.TTransportException: java.net.ConnectException: org.apache.zeppelin.interpreter.remote.RemoteInterpreter.init(RemoteInterpreter.java:232) 处的连接被拒绝。 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java:105) 上的解释器.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:400)。 316) 在 org.apache.zeppelin.scheduler.Job.run(Job.java:176) 在 org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner。在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 在 java.util.concurrent.FutureTask.run(FutureTask.java:262) 运行(RemoteScheduler.java:329)

编辑。揭示真正根本原因的另一种方法是更改​​ log4j 以查看 spark 解释器进程的输出，正如 Jeff 在 ZEPPELIN-1984 中所暗示的那样。更改您的 ZEPPELIN_HOME/conf/log4j.properies 如下：

log4j.rootLogger = INFO, dailyfile

log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n

log4j.appender.dailyfile.DatePattern=.yyyy-MM-dd
log4j.appender.dailyfile.Threshold = DEBUG
log4j.appender.dailyfile = org.apache.log4j.DailyRollingFileAppender
log4j.appender.dailyfile.File = ${zeppelin.log.file}
log4j.appender.dailyfile.layout = org.apache.log4j.PatternLayout
log4j.appender.dailyfile.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n

log4j.logger.org.apache.zeppelin.interpreter.InterpreterFactory=DEBUG
log4j.logger.org.apache.zeppelin.notebook.Paragraph=DEBUG
log4j.logger.org.apache.zeppelin.scheduler=DEBUG
log4j.logger.org.apache.zeppelin.livy=DEBUG
log4j.logger.org.apache.zeppelin.flink=DEBUG
log4j.logger.org.apache.zeppelin.spark=DEBUG
log4j.logger.org.apache.zeppelin.python=DEBUG
log4j.logger.org.apache.zeppelin.interpreter.util=DEBUG
log4j.logger.org.apache.zeppelin.interpreter.remote=DEBUG
log4j.logger.org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer=DEBUG

并重新启动 Zeppelin。注意：它可能会产生过多的日志记录。我最初建议在interpreter.sh 中添加几行不需要重新启动Zeppelin。

还创建了拉取请求以（部分）修复此问题：https ://github.com/apache/zeppelin/pull/1921

2017 年 1 月 24 日更新。https://issues.apache.org/jira/browse/ZEPPELIN-1984已在 master 中修复，并将包含在 Zeppelin 0.8 版本中。ZEPPELIN-1984 中有两个重要的修复：

  • 如果解释器进程无法启动，您将不会收到“连接被拒绝”；
  • Zeppelin 将显示根本原因（在段落输出中）什么是根本原因。
于 2017-01-20T01:39:49.807 回答
3

我在$SPARK_HOME设置不正确时遇到了这个问题

于 2016-03-17T19:47:31.773 回答
1

问题

Zeppelin 将在 localhost 上运行自定义 Spark 应用程序，有时（如果您有多个网络，例如 VPN），它不能使用127.0.0.1：

因为这个源代码：https ://github.com/apache/zeppelin/blob/v0.8.1/zeppelin-interpreter/src/main/java/org/apache/zeppelin/interpreter/remote/RemoteInterpreterUtils.java#L104 

public static String findAvailableHostAddress() throws UnknownHostException, SocketException {
    InetAddress address = InetAddress.getLocalHost();
    if (address.isLoopbackAddress()) {
      for (NetworkInterface networkInterface : Collections
          .list(NetworkInterface.getNetworkInterfaces())) {
        if (!networkInterface.isLoopback()) {
          for (InterfaceAddress interfaceAddress : networkInterface.getInterfaceAddresses()) {
            InetAddress a = interfaceAddress.getAddress();
            if (a instanceof Inet4Address) {
              return a.getHostAddress();
            }
          }
        }
      }
    }
    return address.getHostAddress();
  }

你可以看到 Spark 解释器正在运行并监听“奇怪”的 IP：

ps aux | grep spark
zep/bin/interpreter.sh -d zep/interpreter/spark -c 10.100.37.2 -p 50778 -r : -l /zep/local-repo/spark -g spark

但是，Zeppelin UI 尝试连接到 localhost，它将因此127.0.0.1解析Connection refused.

解决方案

  • 在运行 Spark 解释器之前断开与 VPN 的连接
  • 使用 v0.8.2 通过新的环境变量修复它ZEPPELIN_LOCAL_IP
于 2020-02-28T10:41:50.133 回答
0

我注意到指向 spark 的 url 不正确。有一次，我纠正了它，它工作正常。不管怎么说，还是要谢谢你。

于 2015-09-25T12:15:07.503 回答
0

我修复了这个错误，将 spark-model yarn-cluster 更改为 yarn-client，因为它在 zepplin/conf/defalt.sh 中设置

于 2017-09-08T09:27:28.990 回答
0

当 $YARN_QUEUE 设置不正确时有同样的问题

于 2016-06-03T04:00:01.010 回答
0

这个问题已经开放一年了，不确定问题的解决方案是否实现。最近，我在 Amazon EMR 上使用 Yarn-Spark 遇到了类似的错误。当我调试它时，我意识到了以下几点，并建议人们在发现自己处于类似情况时尝试（解决方案基于 EMR，但在其他产品上应该类似）

1. kill -9 `ps -ef | grep zeppelin | grep -v grep | awk '{print $2}'`( *will make sure zombie processes are taken care of*)
2. kill -9 `ps -ef | grep hadoop-yarn-resourcemanager | grep -v grep | awk '{print $2}'`
3. sudo /sbin/restart hadoop-yarn-resourcemanager
4. At times, simply starting the resource-manager does not start the name-node `sudo start hadoop-hdfs-namenode`
5. sudo /usr/lib/zeppelin/bin/zeppelin-daemon.sh start 
6. Use telnet to make sure that the default ports are open for required service.

在同样的情况下，应该能够使用有效的 SparkContext 使 zeppelin 正常运行。希望这很有用

于 2016-10-05T08:04:13.723 回答
0

尝试在 Amazon ECS 的微型实例上的同一 docker 容器中使用 Spark 运行 Zeppelin 时，我遇到了完全相同的错误。

错误源在 %ZEPPELIN_HOME%/logs/*.out 的输出日志中可见，它表示 Zeppelin 由于内存不足而无法启动 Spark 解释器。所以我将我的 Docker 映像移动到具有更多内存的实例。

于 2017-10-06T21:44:19.053 回答
0

就我而言，(project-root)/node_modules/zeppelin/spark-2.0.2-bin-hadoop2.7由于某种未知原因，没有安装。 rm -rf node_modules; npm cache clear; npm i解决它。

于 2016-12-15T22:19:13.610 回答
0

就我而言，我的集群中有三个节点。虽然在其中三个中安装了 spark，但仅在其中一个上安装了 zeppelin。

所以在 zeppelin Interpreter Menu --> Spark --> Edit --> Properties --> Master

将该参数从yarn-client更改为local[*]解决了我的问题。

于 2018-02-21T14:46:09.907 回答