9

我有一个 python 脚本来使用 os.subprocess 模块运行一些外部命令。但是其中一个步骤需要花费大量时间，因此我想单独运行它。我需要启动它们，检查它们是否完成，然后执行下一个不并行的命令。我的代码是这样的：

nproc = 24 
for i in xrange(nproc):
    #Run program in parallel

#Combine files generated by the parallel step
for i in xrange(nproc):
    handle = open('Niben_%s_structures' % (zfile_name), 'w')
    for i in xrange(nproc):
        for zline in open('Niben_%s_file%d_structures' % (zfile_name,i)):handle.write(zline)
    handle.close()

#Run next step
cmd = 'bowtie-build -f Niben_%s_precursors.fa bowtie-index/Niben_%s_precursors' % (zfile_name,zfile_name)
4

3 回答 3

6

对于您的示例，您只想并行处理 - 您不需要线程。

使用模块Popen中的构造函数：http: //docs.python.org/library/subprocess.htmsubprocess

收集Popen您生成的每个进程的实例，然后wait()让它们完成：

procs = []
for i in xrange(nproc):
    procs.append(subprocess.Popen(ARGS_GO_HERE)) #Run program in parallel
for p in procs:
    p.wait()

你可以摆脱这个（而不是使用multiprocessingorthreading模块），因为你对让这些互操作并不真正感兴趣 - 你只希望操作系统并行运行它们并确保它们在你去合并时都完成结果...

于 2012-08-14T14:45:30.463 回答
2

并行运行也可以使用 Python 中的多个进程来实现。我前段时间写了一篇关于这个主题的博客文章，你可以在这里找到它

http://multicodecjukebox.blogspot.de/2010/11/parallelizing-multiprocessing-commands.html

基本上，这个想法是使用“工作进程”独立地从队列中检索作业，然后完成这些作业。

根据我的经验，效果很好。

于 2012-08-14T14:38:18.457 回答
1

您可以使用线程来完成。这是一个非常简短且（未经测试）的示例，如果您在线程中实际执行的操作非常难看 if-else，但您可以编写自己的工作类..

import threading

class Worker(threading.Thread):
    def __init__(self, i):
        self._i = i
        super(threading.Thread,self).__init__()

    def run(self):
        if self._i == 1:
            self.result = do_this()
        elif self._i == 2:
            self.result = do_that()

threads = []
nproc = 24 
for i in xrange(nproc):
    #Run program in parallel        
    w = Worker(i)
    threads.append(w)
    w.start()
    w.join()

# ...now all threads are done

#Combine files generated by the parallel step
for i in xrange(nproc):
    handle = open('Niben_%s_structures' % (zfile_name), 'w')
    ...etc...
于 2012-08-14T14:29:27.363 回答