25

我使用这个答案是为了在 Linux 机器上用 Python 中的多处理运行并行命令。

我的代码做了类似的事情：

import multiprocessing
import logging

def cycle(offset):
    # Do stuff

def run():
    for nprocess in process_per_cycle:
        logger.info("Start cycle with %d processes", nprocess)
        offsets = list(range(nprocess))
        pool = multiprocessing.Pool(nprocess)
        pool.map(cycle, offsets)

但是我收到了这个错误：OSError: [Errno 24] Too many open files
所以，代码打开了太多的文件描述符，即：它启动了太多的进程并且没有终止它们。

我修复了它，用这些行替换了最后两行：

    with multiprocessing.Pool(nprocess) as pool:
        pool.map(cycle, offsets)

但我不知道为什么这些行修复了它。

那下面发生了with什么？

4

4 回答 4

28

您正在循环中创建新进程，然后在完成后忘记关闭它们。结果，您有太多打开的进程。这是一个坏主意。

pool.terminate您可以通过使用自动调用或手动调用pool.terminate自己的上下文管理器来解决此问题。或者，你为什么不在循环外创建一个池一次，然后将任务发送到里面的进程？

pool = multiprocessing.Pool(nprocess) # initialise your pool
for nprocess in process_per_cycle:
    ...       
    pool.map(cycle, offsets) # delegate work inside your loop

pool.close() # shut down the pool

有关更多信息，您可以仔细阅读multiprocessing.Pool文档。

于 2017-08-14T00:35:10.180 回答
2

它是上下文管理器。使用 with 可确保您正确打开和关闭文件。要详细了解这一点，我推荐这篇文章https://jeffknupp.com/blog/2016/03/07/python-with-context-managers/

于 2017-08-14T00:21:04.440 回答
0

当您也使用 numpy.load 时可能会发生这种情况，请确保也关闭这些文件，或者避免使用它并使用 pickle 或 torch.save torch.load 等。

于 2020-07-17T21:20:55.903 回答
0

我已经终止并关闭了池，但是文件描述符的数量有限制，我将 ulimit 更改为4096from1024并且它起作用了。以下是程序：

查看：

ulimit -n

我将其更新为 4096 并且有效。

ulimit -n 4096
于 2021-11-29T06:21:39.860 回答