0

我在本地模型和集群模型中安装了 zeppelin。他们都安装并连接成功。但是集群模型无法处理我的代码，尽管有 zeppelin 示例。它启动并挂起并运行了很长时间，然后每次都导致此错误：

java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds]

然后我打开日志目录并打开我的 zeppelin-interpreter-spark-pipeline-lls6.log。我粘贴错误日志信息：

错误 [2015-07-09 17:30:20,721] ({pool-1-thread-2} ProcessFunction.java[process]:41) - 内部错误处理 getProgress org.apache.zeppelin.interpreter.InterpreterException: java.util .concurrent.TimeoutException：在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68) 的 org.apache.zeppelin.interpreter.ClassloaderInterpreter.open(ClassloaderInterpreter.java:76) 的 [10000 毫秒] 之后，期货超时) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.getProgress(RemoteInterpreterServer.java:297) 在 org.apache.zeppelin.interpreter 的 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress(LazyOpenInterpreter.java:109)。 thrift.RemoteInterpreterService$Processor$getProgress.getResult(RemoteInterpreterService.java:938）在 org.apache.thrift.ProcessFunction.process（ProcessFunction.java:39）在 org.apache.thrift. .TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)39) 在 org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)39) 在 org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)

bank-full.txt我移到目录下的例子hdfs。本地模型中没有出现同样的情况。

我们的集群是独立的。所有版本都是 spark-1.3 hadoop-2.0.0-CDH-4.5.0。在 conf 下，我添加了 Master url。有没有人遇到这种情况，告诉我如何解决。

谢谢大家！

4

1 回答 1

0

使用具有固定 IP 的 EMR 集群似乎是我的问题。在集群模型Hadoop中，Spark集群应该不同于zeppelin server。MasterURL 应更改为，

export MASTER="spark://master_addr:7077"

并仔细检查绑定解释器到 zeppelin 服务器。

export SPARK_HOME=XXX
export SPARK_CONF_DIR=XXX
export HADOOP_HOME=XXX
export HADOOP_CONF_DIR=XXX
export SPARK_YARN_JAR=XXX
export SPARK_CLASSPATH=XXX
于 2015-07-21T06:03:14.300 回答