4

我正在尝试读取一个 gzip 文件（大小约为 150 MB）并使用此脚本（我知道它写得不好）：

import gzip

f_name = 'file.gz'

a = []

with gzip.open(f_name, 'r') as infile:
    for line in infile:
        a.append(line.split(' '))

new_array1 = []

for l in a:
    for i in l:
        if i.startswith('/bin/movie/tribune'):
            new_array1.append(l)

filtered = []

for q in range(0, len(new_array1)):
    filtered.append(new_array1[q])

#at this point filtered array can be printed

问题是我能够使用这种技术将高达 50 MB 的文件读取到一个数组中，但是 80 MB 及以上的文件大小是不可读的。我正在使用的技术是否存在问题，或者是否存在内存限制？如果这是第二种情况，那么在 python 数组中读取大型 gz 文件（超过 100 MB）的最佳技术应该是什么？任何帮助将不胜感激。

注意：我没有使用 NumPy，因为我的服务器上的 C 编译器遇到了一些严重的问题，这些问题是 numpy 所必需的，因此我无法使用它。所以，请建议一些使用原生 Pythonic 方法（或 NumPy 以外的任何方法）的东西。谢谢。

4

2 回答 2

6

我的猜测是问题出a在您的代码中，因为如果您的 .gz 有那么大，那无疑将包含大量条目。此修改应解决该问题：

import gzip

f_name = 'file.gz'

filtered = []
with gzip.open(f_name, 'r') as infile:
    for line in infile:
        for i in line.split(' '):
            if i.startswith('/bin/movie/tribune'):
                filtered.append(line)
                break # to avoid duplicates
于 2013-04-26T07:04:22.867 回答
1

如果您的问题是内存消耗（您没有包含错误消息......），您可以通过使用generators避免存储临时列表来节省大量内存。

例如

import gzip
f_name = 'file.gz'

def get_lines(infile):
    for line in infile:
        yield line.split()

def filter1(line_tokens):
    return any( token.startswith('/bin/movie/tribune')  for token in line_tokens )

def filter2(line_tokens):
    # was there a filter2?
    return True

infile = gzip.open(f_name, 'r')

filtered = ( line_tokens for line_tokens in get_lines(infile) if filter1(line_tokens) and filter2(line_tokens) )

for line in filtered:
    print line

在我的示例filter2中是微不足道的，因为您的列表似乎filtered只是new_array1...的（未过滤）副本

这样，您就可以避免将整个内容存储在内存中。请注意，由于filtered它是一个生成器，因此您只能对其进行一次迭代。如果您确实需要完全存储它，请执行filtered = list(filtered)

于 2013-04-26T07:03:38.813 回答