9

Python 2.7.3 中不会出现以下问题。但是，我的机器（64 位 Mac OSX 10.7.3）上的 Python 2.7.1 和 Python 2.6 都会出现这种情况。这是我最终将分发的代码，所以我想知道是否有任何方法可以完成这项任务，而不是过于依赖 Python 版本。

我需要并行打开多个子进程并将 STDIN 数据写入每个子进程。通常我会使用该Popen.communicate方法来执行此操作。但是，communicate每当我同时打开多个进程时，就会出现死锁。

import subprocess

cmd = ["grep", "hello"]
processes = [subprocess.Popen(cmd, stdin=subprocess.PIPE,
                              stdout=subprocess.PIPE, stderr=subprocess.PIPE)
                                for _ in range(2)]

for p in processes:
    print p.communicate("hello world\ngoodbye world\n")

如果我将进程数更改为for _ in range(1)，则输出与预期一样：

('hello world\n', '')

但是，当有两个进程 ( for _ in range(2)) 时，进程会无限期地阻塞。我尝试过手动写入标准输入的替代方法：

for p in processes:
    p.stdin.write("hello world\ngoodbye world\n")

但是任何从进程中读取的尝试，（p.stdout.read()例如）仍然是死锁。

起初这似乎是相关的，但它指定它在使用多个线程时发生，并且死锁仅很少发生（而这里总是发生）。有没有办法让它在 2.7.3 之前的 Python 版本上工作？

4

1 回答 1

9

我不得不为这个挖一点。（我曾经遇到过类似的问题，所以以为我知道答案，但错了。）

此处描述了该问题（以及 2.7.3 的补丁）：

http://bugs.python.org/issue12786

问题是 PIPE 被子流程继承。答案是在您的 Popen 通话中使用“close_fds=True”。

processes = [subprocess.Popen(cmd, stdin=subprocess.PIPE,
               stdout=subprocess.PIPE, stderr=subprocess.PIPE,close_fds=True)
                            for _ in range(2)]

如果这导致您想要重用的其他文件描述符出现问题（如果这是一个简化的示例），那么您可以 wait()/communicate() 以与创建子进程相反的顺序来处理子进程，而且看起来去工作。

即，而不是：

for p in processes:
    print p.communicate("hello world\ngoodbye world\n")

采用：

while processes:
    print processes.pop().communicate("hello world\ngoodbye world\n")

（或者，我猜，只需在现有循环之前执行 'processes.reverse()'。）

于 2013-01-31T01:32:18.770 回答