5

我从 python 多处理模块创建了一个池，并希望更改池中运行的进程数或添加到它们中。这可能吗？我尝试过这样的事情（我的代码的简化版本）

class foo:
    def __init__():
        self.pool = Pool()
    def bar(self, x):
        self.pool.processes = x
        return self.pool.map(somefunction, list_of_args)

它似乎有效并最终达到了我想要的结果（即在多个进程之间拆分工作），但我不确定这是最好的方法，或者它为什么有效。

4

2 回答 2

2

我认为这实际上行不通：

import multiprocessing, time

def fn(x):
    print "running for", x
    time.sleep(5)

if __name__ == "__main__":
    pool = multiprocessing.Pool()
    pool.processes = 2

    # runs with number of cores available (8 on my machine)
    pool.map(fn, range(10))

    # still runs with number of cores available, not 10
    pool.processes = 10
    pool.map(fn, range(10))

multiprocessing.Pool将进程数存储在私有变量（即Pool._processes）中，该变量在池实例化时设置。请参阅源代码。

这似乎有效的原因是进程数会自动设置为当前机器上的内核数，除非您指定不同的数字。

我不确定您为什么要更改可用进程的数量 - 也许您可以更详细地解释这一点。无论何时创建一个新池都非常容易（大概是在其他池完成运行之后）。

于 2012-04-04T18:06:33.647 回答
1

您可以通过使用私有变量_processes和私有方法_repopulate_pool。但我不建议使用私有变量等。

pool = multiprocessing.Pool(processes=1, initializer=start_process)
>Starting ForkPoolWorker-35

pool._processes = 3
pool._repopulate_pool()
>Starting ForkPoolWorker-36
>Starting ForkPoolWorker-37
于 2018-06-07T20:15:19.570 回答