1

我有一个非常大的文本文件(大小为几 GB),我需要将其读入 Python,然后逐行处理。

一种方法是简单地调用data=f.readlines()然后处理内容。通过这种方法,我知道总行数,并且可以轻松衡量我的处理进度。然而,考虑到文件大小,这可能不是理想的方法。

另一种选择(我认为更好)是说:

    for line in f:
      do something

刚才我不知道如何衡量我的进步了。有没有不增加巨大开销的好选择?(我可能想知道进度的一个原因是要粗略地指示剩余时间,因为我文件中的所有行都有相似的大小,并确定我的脚本是否仍在做某事或卡在某个地方。 )

4

1 回答 1

0

如果使用 linux os 似乎有一条出路。

a = os.popen("wc -l some.txt")
f = a.read()

在阅读时,您会获得行数以及文件名

于 2016-01-27T12:12:00.233 回答