0

我正在尝试按照以下文档使用 Zeppelin 配置 livy： https ://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是，当我运行时：

%livy.spark
sc.version

我收到以下错误：

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用 Zeppelin 0.7.3、Spark 2.2.1 和 Livy 0.4.0。Spark 在 YARN (hadoop 2.9.0) 上运行。这是原版安装，我不使用 cloudera/HDP 之类的发行版。所有这些软件都在一台服务器上运行。

我可以使用 --master yarn 在 spark-shell 中运行示例 org.apache.spark.examples.SparkPi 没有任何问题。所以我确认 spark 在 YARN 上运行良好。

任何帮助，将不胜感激。

谢谢，尤萨塔。

4

1 回答 1

0

此问题是由 spark 2.2 中的方法折旧导致的。spark 2.2 中不再存在 appUiAddress。

正如您在此 PR https://github.com/apache/zeppelin/pull/2231中看到的那样。这个问题已经解决了。

不知何故，您仍然遇到问题。我认为无论是降级 Spark 还是使用更新版本的 Zeppelin 都可以解决这个问题。

于 2018-02-27T03:42:16.807 回答