我在这里很困惑。我有一个 CPU 受限的应用程序,所以我开始使用多进程实现并行化来克服 GIL 问题。
我第一次尝试使用multiprocessing
,futures
但遇到了酸洗问题,所以我选择了pathos
使用哪个dill
作为pickle
替代品。
一切正常,但我想知道我是否正在使用最“面向未来”的解决方案。我也见过dask
,但我不知道它是否会在酸洗类问题的情况下起作用(参见Python: (Pathos) Multiprocessing vs. class methods)。从文档中,它使用了futures
所以我假设它不会完成这项工作。
其次,我希望能够一次使用两台服务器,并且我已经看到pathos
(也dask
)可以做到这一点,但我不明白这是如何工作的。这个答案https://stackoverflow.com/a/26948258/6522112仅显示如何使用一台服务器。使用2个或更多怎么样?我找不到任何关于此的示例,尽管如包装信息所述,这似乎是可能的。
谢谢你的帮助!