1

如何使用当前(hive 2.1)绑定而不是 1.2 构建 spark? http://spark.apache.org/docs/latest/building-spark.html#building-with-hive-and-jdbc-support 没有提到这是如何工作的。spark 是否适用于 hive 2.x?

4

1 回答 1

2

我有同样的问题,这是我迄今为止发现的。您可以尝试使用较新版本的 hive 构建 spark:

mvn -Dhive.group=org.apache.hive -Dhive.version=2.1.0 clean package

这会运行很长时间并且在单元测试中失败。如果你跳过测试,你会走得更远,但会遇到编译错误。总之,spark 不适用于 hive 2.x!

我还在 ASF Jira 中搜索了 Spark 和 Hive,但没有发现任何关于升级的内容。这是我能找到的最近的票:https ://issues.apache.org/jira/browse/SPARK-15691

于 2016-12-07T22:36:52.673 回答