1

我写了一个python脚本来处理文本文件。输入是一个包含多行的文件。在每一行的开头，都有一个数字 (1, 2, 3... , n)。然后是一个空行和写一些文本的最后一行。

我需要通读这个文件以删除开头的一些行和结尾的一些行（比如数字 1 到 5，然后数字 78 到结尾）。我想将剩余的行写入一个新文件（在一个新目录中）并重新编号写在这些行上的第一个数字（在我的示例中，6 将变为 1、7 2 等）

我写了以下内容：

def treatFiles(oldFile,newFile,firstF, startF, lastF):

    % firstF is simply an index
    % startF corresponds to the first line I want to keep
    % lastF corresponds to the last line I want to keep
    numberFToDeleteBeginning = int(startF) - int(firstF)
    with open(oldFile) as old, open(newFile, 'w') as new:
        countLine = 0
        for line in old:
            countLine += 1
            if countLine <= numberFToDeleteBeginning:
                pass
            elif countLine > int(lastF) - int(firstF):
                pass
            elif line.split(',')[0] == '\n':
                newLineList = line.split(',')
                new.write(line)
            else:        
                newLineList = [str(countLine - numberFToDeleteBeginning)] + line.split(',')
                del newLineList[1]
                newLine = str(newLineList[0])
                for k in range(1, len(newLineList)):
                    newLine = newLine + ',' + str(newLineList[k])    
                new.write(newLine)


    if __name__ == '__main__':
      from sys import argv
      import os

      os.makedirs('treatedFiles')
      new = 'treatedFiles/' + argv[1]
      treatFiles(argv[1], argv[2], newFile, argv[3], argv[4], argv[5])

我的代码工作正常，但速度太慢（我有大约 10Gb 的文件需要处理，并且已经运行了几个小时）。

有谁知道我可以如何改进它？

4

1 回答 1

3

我会摆脱for中间的循环和昂贵的.split()：

from itertools import islice

def treatFiles(old_file, new_file, index, start, end):
    with open(old_file, 'r') as old, open(new_file, 'w') as new:
        sliced_file = islice(old, start - index, end - index)

        for line_number, line in enumerate(sliced_file, start=1):
            number, rest = line.split(',', 1)

            if number == '\n':
                new.write(line)
            else:
                new.write(str(line_number) + ',' + rest)

此外，在将三个数值参数传递给函数之前，将它们转换为整数：

treatFiles(argv[1], argv[2], newFile, int(argv[3]), int(argv[4]), int(argv[5]))
于 2013-09-22T20:58:12.150 回答