我们使用 spark 2.4.0 连接到 Hadoop 2.7 集群并从 Hive Metastore 2.3 版本进行查询。但是集群管理团队决定升级到 Hadoop 3.x 和 Hive 3.x。我们还不能迁移到与 Hadoop 3 和 Hive 3 兼容的 spark 3，因为我们无法测试是否有任何问题。
有没有办法坚持使用 spark 2.4.x 版本并且仍然能够使用 Hadoop 3 和 Hive 3？
我知道向后移植是一种选择，如果您能指出我的方向，那就太好了。
问问题
1528 次
1 回答
3
您可以使用Hadoop 3.1 配置文件编译 Spark 2.4，而不是依赖默认版本。您需要使用有关构建 Spark的文档中描述的hadoop-3.1配置文件，例如：
./build/mvn -Pyarn -Phadoop-3.1 -DskipTests clean package
于 2020-07-06T11:38:26.113 回答