6

所以我在玩维基百科转储文件。这是一个经过 bzip 压缩的 XML 文件。我可以将所有文件写入目录，但是当我想进行分析时，我必须重新读取磁盘上的所有文件。这给了我随机访问，但它很慢。我有 ram 将整个 bzip 压缩文件放入 ram。

我可以很好地加载转储文件并读取所有行，但我无法在其中查找，因为它很大。从表面上看，bz2 库必须先读取并捕获偏移量，然后才能将我带到那里（并将其全部解压缩，因为偏移量以解压缩字节为单位）。

无论如何，我正在尝试映射转储文件（~9.5 gigs）并将其加载到 bzip 中。我显然想在以前的 bzip 文件上对此进行测试。

我想将 mmap 文件映射到 BZ2File 以便我可以通过它寻找（以获取特定的、未压缩的字节偏移量），但从看起来，如果不解压缩整个 mmap 文件这是不可能的（这将超过 30千兆字节）。

我有什么选择吗？

这是我为测试而编写的一些代码。

import bz2
import mmap

lines = '''This is my first line
This is the second
And the third
'''

with open("bz2TestFile", "wb") as f:
    f.write(bz2.compress(lines))

with open("bz2TestFile", "rb") as f:
    mapped = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ)

    print "Part of MMAPPED"
    # This does not work until I hit a minimum length
    # due to (I believe) the checksums in the bz2 algorithm
    #
    for x in range(len(mapped)+2):
        line = mapped[0:x]
        try:
            print x
            print bz2.decompress(line)
        except:
            pass

# I can decompress the entire mmapped file
print ":entire mmap file:"
print bz2.decompress(mapped)

# I can create a bz2File object from the file path
# Is there a way to map the mmap object to this function?
print ":BZ2 File readline:"
bzF = bz2.BZ2File("bz2TestFile")

# Seek to specific offset
bzF.seek(22)
# Read the data
print bzF.readline()

这一切都让我想知道，bz2 文件对象有什么特别之处，它允许它在查找后读取一行？它是否必须先读取每一行才能从算法中获取校验和才能正确计算？

4

1 回答 1

2

我找到了答案！James Taylor 编写了几个用于在 BZ2 文件中查找的脚本，他的脚本位于 biopython 模块中。

https://bitbucket.org/james_taylor/bx-python/overview

这些工作非常好，尽管它们不允许在 BZ2 文件中寻找任意字节偏移量，但他的脚本会读取 BZ2 数据块并允许基于块进行寻找。

具体见bx-python/wiki/IO/SeekingInBzip2Files

于 2012-10-01T08:27:34.703 回答