问题标签 [process-pool]

我使用这个答案是为了在 Linux 机器上用 Python 中的多处理运行并行命令。

我的代码做了类似的事情：

但是我收到了这个错误：OSError: [Errno 24] Too many open files
所以，代码打开了太多的文件描述符，即：它启动了太多的进程并且没有终止它们。

我修复了它，用这些行替换了最后两行：

但我不知道为什么这些行修复了它。

那下面发生了with什么？

我正在尝试利用concurrent.futures.ProcessPoolExecutor来Python3并行处理一个大型矩阵。代码的一般结构是：

self.matrix是一个大的scipy csr_matrix。f是我的并发函数，它需要一行self.matrix并在其上应用一个CPU 绑定的进程。最后，fetch_multiple是一个并行运行多个实例f并返回结果的函数。

问题是在运行脚本后，所有 cpu 核心的繁忙程度都低于 50%（见以下截图）：

为什么所有核心都不忙？

self.matrix我认为问题在于进程之间传递行向量的大对象。我怎么解决这个问题？

谁能告诉我如何在 Swift 中创建 WKProcessPool ？我不熟悉Objective-C。我必须创建一个 WKProcessPool 才能与所有 WKWebViews 共享 cookie。即使显示另一个具有相同类的视图控制器，我也想保留 cookie。我尝试了以下但它不工作。

以下代码未按预期执行。

但如果函数没有嵌套，它确实有效。到底是怎么回事。

我有大量必须以某种方式处理的元素。我知道它可以通过多处理处理来完成：

所以我可以创建让我们说 10 个进程并将除以 10 的参数传递给 args。然后工作就完成了。

但我不想手动创建它并手动计算它。相反，我想使用ProcessPoolExecutor，我这样做是这样的：

计算是我完成这项工作的功能。

list_to_process 是我要处理的列表。

但是在运行这段代码之后，循环迭代只进行了一次。我以为

与此相同 10 次：

但这似乎是错误的。

ProcessPoolExecutor如何实现真正的多处理？

我正在尝试为 python3.5 创建一个简单的脚本，可以并行执行繁重的计算机视觉算法。我在主进程中通过multiprocessing.Process创建了一个进程。在该过程中，我创建了concurrent.futures.ProcessPoolExecutor。生成的进程将任务提交给processPoolExecutor，它工作得很好。但是当我尝试停止并加入生成的进程时，它会挂起。

此外，如果将 processPoolExecuter 替换为 threadPoolExecuter 一切正常。我错过了什么？

这是主文件：

这是第二个文件。代码非常简单，足以证明问题。

谢谢！

我正在编写一个执行大量 io 操作的代码，例如文件下载和图形生成，可能有 1000 多个文件，这将是一个好的方法吗？

我使用过 processpool 执行器，它似乎工作正常，但我在这里看到了一些帖子，上面说 threadpool 执行器对我尝试过的 io 绑定操作很有用

它可以工作，但不能完全生成图形，有些图形是部分生成的，还有其他好处吗？

此代码在常规 CPython 3.5 下运行良好：

但是，如果您将其作为 运行python -m doctest myfile.py，它会挂起。更改submit(job为submit(print使其不会挂起，就像使用ThreadPoolExecutor而不是ProcessPoolExecutor.

为什么在 doctest 下运行时会挂起？

谢谢你看看这个。我承认我已经在 python 中涉足了 1 周的并行处理，所以如果我错过了一个明显的解决方案，我深表歉意。我有一段代码，我想运行几个不同的 mp.pool() 实例。主 .py 文件中的那些工作正常，但是当我尝试将它们添加到模块中的函数时，我没有从它们中得到任何输出。该应用程序只是运行过去并继续。我认为这可能与这篇文章有关，但它没有就替代方法提供任何想法来完成我所需要的。在一个简单示例中工作的代码是这样的：

不起作用的代码是：

最终，我希望通过将它存在于单独模块中的另一个函数中来删除一个不起作用的示例。因此，当我导入模块 packngo 并将其用作 packngo.basic_packngo(inputs) 并在其中某处具有嵌套函数的内容时，它们将运行。任何帮助将不胜感激。:DI 是一个非常简单的人，所以如果你能像对孩子一样解释，也许它会在我脑海中浮现！

我想使用 concurrent.futures 同时运行多个 python 脚本。我的代码的串行版本会在文件夹中查找特定的 python 文件并执行它。

对于我的代码的并行版本：

问题是我不确定如何将 FileList 的每个元素传递给单独的 cpu

提前感谢您的帮助