如何降级spark版本？其他解决方案可能是什么？我必须使用 spark session 连接我的 hive 表来触发。但是zeppelin不支持spark版本。
问问题
2828 次
2 回答
1
这里有2个原因。
[1] Zeppelin 0.7.2 将 spark 2.2+ 标记为不受支持的版本。
public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_2_2_0;
[2] 即使您更改了 const 并再次构建，您也可能无法使用 Spark 2.2 运行 Zeppelin 0.7.2
Spark 放弃了对 Java 7 的支持，而 Zeppelin 0.7.2 是使用 JDK 7 构建的。因此您需要使用 JDK 8 重新构建它。
您可以使用的一种解决方法是，JAVA_HOME在 spark 解释器（对于 2.2）中指定，如此处所述
这是因为只有 spark 解释器（对于 2.2）需要 java 8 而 Zeppelin 不需要它。
简而言之
- 如果您想在 Zeppelin 分支 0.7 上触发 2.2，请在此处修改并重建
- 并使用 JDK 8 作为 spark 解释器。
于 2017-08-21T07:39:56.397 回答
0
Zeppelin 0.7.2 版本支持 spark 2.1.0。
于 2017-08-29T03:30:10.287 回答