apache-spark - 使用 Spark 1.6.2 与 Spark 2.0.0 的 KMeans

Question

我Kmeans()在我无法控制的环境中使用，我将在 <1 个月内放弃。火花 1.6.2。已安装。

我应该为在我离开之前敦促“他们”升级到 Spark 2.0.0 而付出代价吗？换句话说，Spark 2.0.0在Spark Mllib KMeans()方面是否引入了任何重大改进？

就我而言，质量是比速度更重要的因素。

Answer 1

这不太可能。

Spark 2.0.0 没有对核心 RDD API 进行任何重大改进，并且自 1.6 以来KMeans实现没有太大变化，只有SPARK-15322、SPARK-16696和SPARK-16694引入了相对重大的变化。

如果您使用 ML API，则可能还会有一些与SPARK-14850相关的改进，但总的来说，我在这里看不到任何游戏规则改变者。