python - 将 BytesIO 对象写入文件，“高效”

Question

因此，将 BytesIO 对象写入文件的一种快速方法是使用：

with open('myfile.ext', 'wb') as f:
    f.write(myBytesIOObj.getvalue())
myBytesIOObj.close()

但是，如果我想迭代 myBytesIOObj 而不是将其写入一大块，我将如何处理它？我在 Python 2.7.1 上。此外，如果 BytesIO 很大，它会是一种更有效的迭代编写方式吗？

谢谢

score 25 · Accepted Answer

shutil有一个实用程序可以有效地写入文件。它以块的形式复制，默认为 16K。任何 4K 块的倍数都应该是一个很好的跨平台数字。我相当随意地选择了 131072，因为实际上该文件在写入磁盘之前已写入 RAM 中的操作系统缓存，并且块大小并不是什么大问题。

import shutil

myBytesIOObj.seek(0)
with open('myfile.ext', 'wb') as f:
    shutil.copyfileobj(myBytesIOObj, f, length=131072)

顺便说一句，最后不需要关闭文件对象。 with定义一个范围，并且文件对象在该范围内定义。因此，文件句柄在退出with块时会自动关闭。

score 6 · Accepted Answer

从 Python 3.2 开始，可以使用BytesIO.getbuffer()方法，如下所示：

from io import BytesIO
buf = BytesIO(b'test')
with open('path/to/file', 'wb') as f:
    f.write(buf.getbuffer())

这样它就不会复制缓冲区的内容，而是直接将其流式传输到打开的文件中。

注意：StringIO缓冲区不支持getbuffer()协议（从 Python 3.9 开始）。

在将BytesIO缓冲区流式传输到文件之前，您可能希望将其位置设置为开头：

buf.seek(0)

2 回答 2