python - 我如何分发小批量 kmeans（scikit-learn）的处理？

Question

在 Scikit-learn 中，K-Means 有 n_jobs 但 MiniBatch K-Means 缺少它。MBK 比 KMeans 快，但在大型样本集上，我们希望它跨多处理（或其他并行处理库）分布处理。

MKB 的部分拟合是答案吗？

Answer 1

我不认为这是可能的。您可以在小批量处理中使用 OpenMP 实现一些东西。我不知道有任何并行的小批量 k-means 程序。并行化随机梯度下降过程有点麻烦。

顺便说一句，KMeans 中的 n_jobs 参数仅分配不同的随机初始化 afaik。