此外，CDH 6 处于 beta 阶段，他们是否支持 spark 2.3 没有任何花里胡哨的东西？是否可以在启用 hadoop 3 的 CDH 或 Hadoop 集群上运行相同的旧 spark 2.x 版本（特别是 2.3）？
我有兴趣了解 yarn 、 hdfs 和 mapreduce API 的向后兼容性变化。
有人在生产中使用它吗？
问问题
373 次
1 回答
1
CDH 6.0 GA 是在几周前宣布的。除了 Hadoop 3 之外，它还将 Spark 2.2打包为默认的 Spark 版本：https ://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html#spark_new_features 。但是，可以单独将 CDS 升级到更高的 (2.3.x) 版本。根据https://www.cloudera.com/documentation/spark2/latest/topics/spark2_troubleshooting.html#spark_troubleshooting__hive_compatibility，CDH
6 似乎不受 Spark 中 HMS 不兼容性的影响。
于 2018-09-30T19:14:07.913 回答