1

我必须从 Python 调用一个脚本并收集它的输出。所以，

p = subprocess.Popen ("script", shell = False, stdin = subprocess.PIPE, stdout = subprocess.PIPE)
out_lines = p.communicate ("\n".join (in_lines)) [0]

...除了我想记录每一个out_line，以防万一，你知道，最坏的情况发生了（在子进程中或在主进程中）。

我有

  1. 无法控制script
  2. 不想communicate()在我的 Python中复制和修补源代码
  3. 不保证脚本为每个输入行返回一个输出行。
  4. 最好避免调用依赖于平台的 tee 实用程序。

除了这四个可行但不方便的解决方案之外，还有什么我忽略的吗？stdout = PIPE可能是用日志包装器替换之类的东西？

谢谢你。我整个星期都在这里。

4

3 回答 3

2

你基本上有两个重叠的控制线程。

  1. 将输入发送到子流程。
  2. 在子进程可用时从子进程中读取数据。

除了使用线程（或者可能是选择循环）之外，以独立于平台的方式执行此操作不会给您太多选择。

您有问题的代码似乎只对标准输出感兴趣，因此您可以调用一个读取标准输出并将内容写入文件的线程。

这是一个例子：

import subprocess
import os
import threading


class LogThread(threading.Thread):
    """Thread which will read from `pipefd` and write all contents to
    `fileobj` until `pipefd` is closed.  Used as a context manager, this thread
    will be automatically started, and joined on exit, usually when the
    child process exits.
    """
    def __init__(self, pipefd, fileobj):
        self.pipefd = pipefd
        self.fileobj = fileobj
        super(LogThread, self).__init__()
        self.setDaemon(1)
        self.start()

    def run(self):
        while True:
            line = self.pipefd.readline()
            if not line:
                break
            self.fileobj.write(line)
            self.fileobj.flush()

    def __enter__(self):
        return self

    def __exit__(self, exc_type, exc_value, traceback):
        self.join()


# Here's how to use the LogThread.    
p = subprocess.Popen ("script", shell = False, stdin = subprocess.PIPE, stdout = subprocess.PIPE)
with open('logfile.txt', 'wt') as logfile:
    with LogThread(p.stdout, logfile):
        p.stdin.write("\n".join(in_lines))
        p.stdin.close()

这可能会复制一小部分Popen.communicate()但它不是很多代码并且与平台无关。

关于缓冲的注意事项： stdout 缓冲到非 tty 设备（例如管道）是正常的。通常，stderr 没有缓冲。您通常无法控制正在运行的应用程序是否缓冲其输出。充其量您可以猜测它如何确定是否使用缓冲，大多数应用程序调用isatty()以确定它是否应该缓冲。因此，在日志文件上设置缓冲 0 可能不是避免缓冲的正确解决方案。如果缓冲为 0，则输出的每个字符都作为单个write()调用写入，效率非常低。上述解决方案已被修改为执行行缓冲。

以下链接可能有用：https ://unix.stackexchange.com/questions/25372/turn-off-buffering-in-pipe

于 2013-10-17T12:15:26.863 回答
1

subprocess.communicate依赖平台检测的动作。在 Windows 上，工作是使用线程完成的，只需使用文件包装器就足以进行日志记录。

然而，在 Unix 上，subprocessusesselect依赖于获取文件描述符 ( file.fileno())，因此这种技术不起作用。可以只创建另一个管道并在 python 中复制输出，但它有点复杂，而且由于您正在编写依赖于平台的代码，因此在 Unix 上，您通常可以使用该tee命令来实现该确切目的。

知道了这一点，这是一个满足您要求的平台相关示例：

import subprocess
import sys

class FileWrapperWithLog(object):
    def __init__(self, file_object, filename):
        self.f= file_object
        self.log= open(filename, 'wb')
    def read(self):
        data= self.f.read()
        self.log.write(data)
        return data
    def close(self):
        return self.f.close()

FILENAME="my_file.log"
if sys.platform == "win32":
    p= subprocess.Popen('dir', shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE)
    p.stdout= FileWrapperWithLog( p.stdout, FILENAME )
else:
    p= subprocess.Popen('ls | tee '+FILENAME, shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE)
p.communicate()

另一种选择是猴子补丁subprocess，但这将是一个容易出错的过程，因为通信是一种复杂的方法，并且具有前面提到的依赖于平台的行为。

于 2013-10-17T10:58:25.290 回答
1

以下简单脚本说明了一种可以使用的方法（跨平台）：

from subprocess import Popen, PIPE
import sys
import threading

def handle_line(line):
    print(line) # or log it, or whatever

def reader(stream):
    while True:
        s = stream.readline()
        if not s:
            break
        handle_line(s)
    stream.close()

p = Popen(sys.argv[1].split(), stdout=PIPE, stderr=PIPE, stdin=PIPE)
# Get threads  ready to read the subprocess output
out_reader = threading.Thread(target=reader, args=(p.stdout,))
err_reader = threading.Thread(target=reader, args=(p.stderr,))
out_reader.start()
err_reader.start()
# Provide the subprocess input
p.stdin.write("Hello, world!")
p.stdin.close()
# Wait for the child process to complete
p.wait()
# And for all its output to be consumed
out_reader.join()
err_reader.join()
print('Done.')

当运行一个回显它的程序时stdin，例如cat（或者，在 Windows 上， Gnu-Win32 cat.exe），你应该得到：

Hello, world!
Done.

作为输出。这应该适用于更大的输出 - 我在 中使用这种技术python-gnupg，我需要在stderr它们进入时处理行（来自 ），而不是在最后（这就是我不能使用的原因communicate）。

更新：有很多方法可以构建“OOP 细节”——我并没有特别发现 Austin Phillips 的版本对我有用。但是，我已经展示了需要以最简单的方式采取的步骤，并且可以根据个人需求在此基础上构建。

于 2013-10-17T22:47:20.130 回答