2

我有一个包含 70 列和 440 万行的数据集。我想对其进行聚类。我先做了 TF-IDF，然后我使用了 K-means、二等分 k-means 和高斯混合模型 (GMM) 的聚类。虽然其他技术给了我指定数量的集群，但 GMM 只给出了一个集群。例如，在下面的代码中，我想要 20 个集群，但它只返回 1 个集群。发生这种情况是因为我有很多列还是仅仅是由于数据的性质造成的？

gmm = GaussianMixture(k = 20, tol = 0.000001, maxIter=10000, seed =1)
model = gmm.fit(rescaledData)
df1 = model.transform(rescaledData).select(['label','prediction'])
df1.groupBy('prediction').count().show()  # this returns 1 row
4

1 回答 1

1

在我看来，Pyspark GMM 聚类性能不佳的主要原因是它的实现是使用对角协方差矩阵完成的，该矩阵没有考虑数据集中存在的不同特征之间的协方差。

在这里检查它的实现：https ://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/clustering/GaussianMixture.scala

由于维度灾难，他们清楚地提到使用对角协方差矩阵。

@note 该算法的特征数量有限，因为它需要存储一个协方差矩阵，该矩阵的大小与特征数量成二次方。即使特征的数量没有超过这个限制，这个算法也可能在高维数据上表现不佳。这是由于高维数据（a）使其难以聚类（基于统计/理论论据）和（b）高斯分布的数值问题。

于 2021-03-10T09:08:56.613 回答