python - scikit-learn 多处理器环境下的网格搜索

Question

我可以在我的四核处理器上本地并行运行 scikit-learn 函数 GridSearchCV。我想知道是否可以直接使用某些 MPI 模块（例如 mpi4py）将其扩展到多处理器环境。

我对此很陌生，所以我也会感谢任何额外的相关信息。我现在正在浏览 mpi4py 的文档。

谢谢！

Answer 1

I extended GridSearchCV to work with MPI, have a look at http://k-d-w.org/node/95

Currently, it only works with supervised learning algorithms, but modifications for unsupervised should be easy. Hope this helps.

Answer 2

您可以查看GridSearchCV 实现作为在 MPI 之上实现您自己的变体的灵感。然而，MPI 可能无法提供一种自然的方式来避免在网络上一遍又一遍地传输输入训练集数据。

另一种方法是使用本教程中解释的IPython.parallel。本教程中使用的 pyrallel 帮助程序库的代码也可以在 github 上找到。