0

基本上，我想使用一个脚本来启动不同目录中的其他脚本并进行后续工作，直到所有“子脚本”都完成为止。我使用 multiprocessing.Pool 将所有子进程放在一起，并使用 wait() 等待全部完成。这是我的脚本：

import os, shutil, subprocess,sys, multiprocessing

rootdir=os.getcwd()
argument=[]
def Openpy(inputinfo):
    dirpath, filename= inputinfo
    os.chdir(dirpath)
    return subprocess.Popen( [ 'python',  filename ] )

if __name__=="__main__":
    for dirpath, dirname , filenames in os.walk(rootdir):
        for filename in filenames: 
            if filename=='Test.py':
                argument.append( [ dirpath, filename ] )
    print argument
    po=multiprocessing.Pool()
    r=po.map_async(Openpy, argument)
    po.close()
    r.wait()

print 'Child scripts are finished'

子进程正常启动并在一分钟内完成。但是，这些子进程似乎不会将其“完成的消息”返回给父进程。它没有显示“子脚本已完成”。我可以做些什么来更改我的代码，以便它可以正确检测到子进程的结束？

感谢所有帮助！

2013/9/1 9:16 UTC+8

JF Sebastian 的回答正在被接受。成功运行并优雅地使用列表理解使整个内容更具可读性。

4

2 回答 2

0

尝试交换 r.wait() 和 po.close() 的位置

if __name__=="__main__":
    for dirpath, dirname , filenames in os.walk(rootdir):
        for filename in filenames: 
            if filename=='Test.py':
                argument.append( [ dirpath, filename ] )
    print argument
    po=multiprocessing.Pool()
    r=po.map_async(Openpy, argument)
    r.wait()
    po.close()

这可能不是您的问题，但看起来您可能在评估结果之前关闭了池。

于 2013-08-28T14:03:30.783 回答
0

Popen()立即返回，因此您的父进程在您的子脚本之前很久就完成了，即在输出的最开头查找“完成的消息”。

您不需要multiprocessing同时运行子进程：

import os
import sys
from subprocess import Popen

# run all child scripts in parallel
processes = [Popen([sys.executable, filename], cwd=dirpath)
             for dirpath, dirname , filenames in os.walk('.')
             for filename in filenames
             if filename == 'Test.py']

# wait until they finish
for p in processes:
    p.wait()
print("all done")

另请参阅Python 线程化多个 bash 子进程？

于 2013-08-31T06:40:48.227 回答