问题标签 [pp-python-parallel]

我是新尝试实现并行 Python (PP) 或异步到多进程 arcgis shapefile 剪辑。我在 pool_async 和 PP 上都取得了成功；但是，它在大文件上永远停滞不前（是的，我尝试让 python 访问大地址）。这是我使用 PP 的代码，请提供任何解决方案，如果有明显的错误，请原谅:-)

如果您在传递给Server.submit [ docs ]的函数中使用某些模块，则需要在modules参数中指定这些模块。见下文：

但是，我想做这样的事情：

如何让第二个代码块工作？我尝试用'os.name'替换'os'之类的东西，但没有运气。

我想在我的计算机 CPU 的四核处理器上并行执行用 python-2.7 编写的 for 循环。

我应该使用 joblib.Parallel 还是使用 Parallel-Python 来实现它？

我已经看到 joblib.Parallel 被更多地使用，但是这部分文档的第一行让我担心：它将分叉进程设置为在“单独的 CPU”上工作。这是否意味着它不能在同一 CPU 的不同内核上执行此操作？

我想在我的计算机 CPU 的四核处理器上并行执行 for 循环。出于此处考虑的原因，我正在使用 pp (Python-Parallel) - 而不是 joblib.Parallel 。

但我收到一个错误：

看起来原因是 python-2.7错误。

有没有人遇到过这个并解决了？

这是我的代码：

我正在 python 中进行并行化工作。我有很大的计算需要并行。起初我有很大的 for 循环（例如 1000 个粒子），所以我的进程不是独立的，我需要独立的进程来使其并行。所以我将 for 循环分为 2 个 FOR 循环，计算了 500,500 个粒子。我需要在两个不同的内核（处理器）上并行运行这两个独立的循环......这可能吗？如果是，那怎么办？请分享一些指导..

第二循环

现在我想把这两个不同的过程结合起来

所以 ...

这是我非常想做的事情。请分享想法。

I'm trying to make this statement run in parallel (on 4 threads).

Any help would be appreciated.

I found this question useful for other type of comprehension, but not for filtering like in this case.