我有一个非常大的文本文件(大小为几 GB),我需要将其读入 Python,然后逐行处理。
一种方法是简单地调用data=f.readlines()
然后处理内容。通过这种方法,我知道总行数,并且可以轻松衡量我的处理进度。然而,考虑到文件大小,这可能不是理想的方法。
另一种选择(我认为更好)是说:
for line in f:
do something
刚才我不知道如何衡量我的进步了。有没有不增加巨大开销的好选择?(我可能想知道进度的一个原因是要粗略地指示剩余时间,因为我文件中的所有行都有相似的大小,并确定我的脚本是否仍在做某事或卡在某个地方。 )