0

区分 gzip 或 bzip2 格式的普通压缩文件（例如 .gz）和使用 gzip 或 bzip2 压缩的 tarball（例如 .tar.gz）的正确方法是什么因为文件可能最终被重命名。

现在在命令行我可以做这样的事情：

bzip2 -dc test.tar.bz2 |head|file -

所以我尝试在 python 中使用以下函数进行类似的操作：

def get_magic(self, store_file, buffer=False, look_deeper=False):
    # see what we're indexing
    if look_deeper == True:
        m = magic.Magic(mime=True, uncompress=True)
    else:
        m = magic.Magic(mime=True) 

    if buffer == False:
        try:
            file_type = m.from_file(store_file)

        except Exception, e:
            raise e

    else:
        try:
            file_type = m.from_buffer(store_file)

        except Exception, e:
            raise e

    return file_type

然后，当尝试读取压缩的 tarball 时，我将从其他地方通过以下方式传入缓冲区：

    file_buffer = open(file_name).read(8096) 
    archive_check = self.get_magic(file_buffer, True, True)

不幸的是，使用 python-magic 中的uncompress标志会出现问题，因为 python-magic 似乎希望我传递整个文件，即使我只希望它读取缓冲区。我最终得到了例外：

bzip2 ERROR: Compressed file ends unexpectedly

看到我正在查看的文件最终大小可能为 2M 到 20GB，这变得相当有问题。我不想阅读整个文件。

它可以被黑客入侵并切断压缩文件的末尾并将其附加到缓冲区吗？是否最好忽略使用 python-magic 解压缩文件的想法，而是在我传入缓冲区以通过以下方式识别之前执行它：

    file_buffer = open(file_name, "r:bz2").read(8096)

有没有更好的办法？

4

2 回答 2

0

如果偏移量 257 处的未压缩数据是“ustar”，或者如果未压缩数据整体为 1024 个零字节（一个空的 tar 文件），则它很可能是一个 tar文件。

z = zlib.decompressobj() 您可以使用或z = bz2.BZ2Decompressor()和仅读取未压缩数据的前 1024 个字节z.decompress()。

于 2016-08-23T23:59:22.237 回答
0

实际上，我会将马克的答案标记为正确的答案，因为它给了我提示。

我最终放弃了这个项目来做其他事情长达六个月，并且因为 bz2.BZ2Decompressor 似乎没有按照预期的那样做而被难住了。事实证明，这个问题在 1024 字节内是无法解决的。

#!/usr/bin/env python

import os
import bz2
import magic

store_file = "10mb_test_file.tar.bz2"
m = magic.Magic(mime=True)

file_buffer = open(store_file, "rb").read(1000000)
buffer_chunk = ""

decompressor = bz2.BZ2Decompressor()
print ( "encapsulating bz2" )
print ( type(file_buffer) )
print ( len(file_buffer) )
file_type = m.from_buffer(file_buffer)
print ( "file type: %s :" % file_type)

buffer_chunk += decompressor.decompress( file_buffer )
print ( "compressed file contents" )
print ( type(buffer_chunk) )
print ( len(buffer_chunk) )

file_type = m.from_buffer(buffer_chunk)
print ( "file type: %s :" % file_type)

奇怪的是，对于 20MB 的 tar.bz2 文件，我可以使用 200,000 字节而不是 1,000,000 字节的值，但该值不适用于 10MB 的测试文件。我不知道它是否特定于所涉及的 tar.bz2 存档，我还没有研究所涉及的算法以查看它们是否处于特定点，但到目前为止读取大约 10MB 的数据似乎对每个存档文件都有效到 5GB。open().read(buffer) 将读取到缓冲区或 EOF 的大小，所以这没关系。

于 2017-03-30T20:30:57.473 回答