12

我想从 7z 压缩的 csv（文本）文件中逐行读取（在 Python 2.7 中）。我不想解压缩整个（大）文件，而是流式传输这些行。

我尝试pylzma.decompressobj()不成功。我收到数据错误。请注意，此代码尚未逐行读取：

input_filename = r"testing.csv.7z"
with open(input_filename, 'rb') as infile:
    obj = pylzma.decompressobj()
    o = open('decompressed.raw', 'wb')
    obj = pylzma.decompressobj()
    while True:
        tmp = infile.read(1)
        if not tmp: break
        o.write(obj.decompress(tmp))
    o.close()

输出：

    o.write(obj.decompress(tmp))
ValueError: data error during decompression
4

3 回答 3

8

这将允许您迭代这些行。它部分来源于我在另一个问题的答案中找到的一些代码。

在这个时间点 ( pylzma-0.5.0)py7zlib模块没有实现允许归档成员作为字节或字符流读取的 API——它的ArchiveFile类只提供一个read()函数，可以一次解压缩并返回成员中的未压缩数据. 鉴于此，可以做的最好的事情是通过 Python 生成器使用它作为缓冲区迭代地返回字节或行。

以下是后者，但如果问题是存档成员文件本身很大，则可能无济于事。

下面的代码应该在 Python 3.x 和 2.7 中工作。

import io
import os
import py7zlib


class SevenZFileError(py7zlib.ArchiveError):
    pass

class SevenZFile(object):
    @classmethod
    def is_7zfile(cls, filepath):
        """ Determine if filepath points to a valid 7z archive. """
        is7z = False
        fp = None
        try:
            fp = open(filepath, 'rb')
            archive = py7zlib.Archive7z(fp)
            _ = len(archive.getnames())
            is7z = True
        finally:
            if fp: fp.close()
        return is7z

    def __init__(self, filepath):
        fp = open(filepath, 'rb')
        self.filepath = filepath
        self.archive = py7zlib.Archive7z(fp)

    def __contains__(self, name):
        return name in self.archive.getnames()

    def readlines(self, name, newline=''):
        r""" Iterator of lines from named archive member.

        `newline` controls how line endings are handled.

        It can be None, '', '\n', '\r', and '\r\n' and works the same way as it does
        in StringIO. Note however that the default value is different and is to enable
        universal newlines mode, but line endings are returned untranslated.
        """
        archivefile = self.archive.getmember(name)
        if not archivefile:
            raise SevenZFileError('archive member %r not found in %r' %
                                  (name, self.filepath))

        # Decompress entire member and return its contents iteratively.
        data = archivefile.read().decode()
        for line in io.StringIO(data, newline=newline):
            yield line


if __name__ == '__main__':

    import csv

    if SevenZFile.is_7zfile('testing.csv.7z'):
        sevenZfile = SevenZFile('testing.csv.7z')

        if 'testing.csv' not in sevenZfile:
            print('testing.csv is not a member of testing.csv.7z')
        else:
            reader = csv.reader(sevenZfile.readlines('testing.csv'))
            for row in reader:
                print(', '.join(row))
于 2013-11-20T21:59:26.720 回答
1

如果您使用的是 Python 3.3+，则可以使用该lzma版本中添加到标准库中的模块来执行此操作。

请参阅：lzma 示例

于 2013-11-20T18:58:32.297 回答
-1

如果你可以使用 python 3，有一个有用的库，py7zr，它支持部分7zip 解压缩，如下所示：

import py7zr
import re
filter_pattern = re.compile(r'<your/target/file_and_directories/regex/expression>')
with SevenZipFile('archive.7z', 'r') as archive:
    allfiles = archive.getnames()
    selective_files = [f if filter_pattern.match(f) for f in allfiles]
    archive.extract(targets=selective_files)
于 2020-07-21T11:28:54.687 回答