5

我在这里很困惑。我有一个 CPU 受限的应用程序,所以我开始使用多进程实现并行化来克服 GIL 问题。

我第一次尝试使用multiprocessingfutures但遇到了酸洗问题,所以我选择了pathos使用哪个dill作为pickle替代品。

一切正常,但我想知道我是否正在使用最“面向未来”的解决方案。我也见过dask,但我不知道它是否会在酸洗类问题的情况下起作用(参见Python: (Pathos) Multiprocessing vs. class methods)。从文档中,它使用了futures所以我假设它不会完成这项工作。

其次,我希望能够一次使用两台服务器,并且我已经看到pathos(也dask)可以做到这一点,但我不明白这是如何工作的。这个答案https://stackoverflow.com/a/26948258/6522112仅显示如何使用一台服务器。使用2个或更多怎么样?我找不到任何关于此的示例,尽管如包装信息所述,这似乎是可能的。

谢谢你的帮助!

4

0 回答 0