58

我正在编写一个 Python 脚本，该脚本需要将一些数据写入临时文件，然后创建一个运行 C++ 程序的子进程，该程序将读取临时文件。我正在尝试使用NamedTemporaryFile它，但根据文档，

在命名的临时文件仍处于打开状态时，该名称是否可用于第二次打开文件，因平台而异（在 Unix 上可以这样使用；在 Windows NT 或更高版本上不能）。

事实上，在 Windows 上，如果我在写入后刷新临时文件，但在我希望它消失之前不要关闭它，子进程将无法打开它进行读取。

我正在通过创建文件来解决这个问题，在生成delete=False子进程之前关闭它，然后在完成后手动删除它：

fileTemp = tempfile.NamedTemporaryFile(delete = False)
try:
    fileTemp.write(someStuff)
    fileTemp.close()
    # ...run the subprocess and wait for it to complete...
finally:
    os.remove(fileTemp.name)

这似乎不优雅。有一个更好的方法吗？也许是一种打开临时文件权限的方法，以便子进程可以访问它？

4

5 回答 5

26

由于似乎没有其他人有兴趣公开这些信息......

tempfile确实公开了一个函数 ，mkdtemp()它可以使这个问题变得微不足道：

try:
    temp_dir = mkdtemp()
    temp_file = make_a_file_in_a_dir(temp_dir)
    do_your_subprocess_stuff(temp_file)
    remove_your_temp_file(temp_file)
finally:
    os.rmdir(temp_dir)

我将中间函数的实现留给读者，因为人们可能希望做一些事情，比如使用mkstemp()来加强临时文件本身的安全性，或者在删除文件之前就地覆盖文件。我不特别知道通过仔细阅读tempfile.

无论如何，是的，NamedTemporaryFile在 Windows 上使用可能不优雅，我在这里的解决方案也可能不优雅，但是您已经确定 Windows 支持比优雅的代码更重要，所以您不妨继续做一些可读的事情。

于 2013-03-06T22:27:25.497 回答
24

根据理查德 Oudkerk

(...) 尝试NamedTemporaryFile在 Windows 上重新打开失败的唯一原因是，当我们重新打开时，我们需要使用O_TEMPORARY.

他给出了一个如何在 Python 3.3+ 中执行此操作的示例

import os, tempfile

DATA = b"hello bob"

def temp_opener(name, flag, mode=0o777):
    return os.open(name, flag | os.O_TEMPORARY, mode)

with tempfile.NamedTemporaryFile() as f:
    f.write(DATA)
    f.flush()
    with open(f.name, "rb", opener=temp_opener) as f:
        assert f.read() == DATA

assert not os.path.exists(f.name)

opener因为 Python 2.x的内置中没有参数，所以open()我们必须结合较低级别os.open()和os.fdopen()函数来达到相同的效果：

import subprocess
import tempfile

DATA = b"hello bob"

with tempfile.NamedTemporaryFile() as f:
    f.write(DATA)
    f.flush()

    subprocess_code = \
    """import os
       f = os.fdopen(os.open(r'{FILENAME}', os.O_RDWR | os.O_BINARY | os.O_TEMPORARY), 'rb')
       assert f.read() == b'{DATA}'
    """.replace('\n', ';').format(FILENAME=f.name, DATA=DATA)

    subprocess.check_output(['python', '-c', subprocess_code]) == DATA
于 2013-03-05T22:40:56.207 回答
13

你总是可以去低级，但不确定它是否对你来说足够干净：

fd, filename = tempfile.mkstemp()
try:
    os.write(fd, someStuff)
    os.close(fd)
    # ...run the subprocess and wait for it to complete...
finally:
    os.remove(filename)
于 2013-03-02T01:04:53.747 回答
10

至少如果您使用现有的 Python 库打开一个临时文件，则在 Windows 的情况下无法从多个进程访问它。根据MSDN，您可以指定第三个参数 ( dwSharedMode) 共享模式标志FILE_SHARE_READ来CreateFile()发挥作用：

启用对文件或设备的后续打开操作以请求读取访问权限。否则，如果其他进程请求读取访问权限，它们将无法打开文件或设备。如果未指定此标志，但已打开文件或设备以进行读取访问，则函数失败。

因此，您可以编写一个 Windows 特定的 C 例程来创建一个自定义的临时文件打开器函数，从 Python 调用它，然后您可以让您的子进程访问该文件而不会出现任何错误。但我认为你应该坚持你现有的方法，因为它是最便携的版本，可以在任何系统上工作，因此是最优雅的实现。

  • 关于 Linux 和 windows 文件锁定的讨论可以在这里找到。

编辑：原来也可以从 Windows 中的多个进程打开和读取临时文件。请参阅 Piotr Dobrogost 的回答。

于 2013-03-02T09:38:24.257 回答
0

在语句中使用mkstemp()代替 with避免了调用：os.fdopen()withclose()

fd, path = tempfile.mkstemp()
try:
    with os.fdopen(fd, 'wb') as fileTemp:
        fileTemp.write(someStuff)
    # ...run the subprocess and wait for it to complete...
finally:
    os.remove(path)
于 2022-01-02T20:17:15.453 回答