python - 读取大文本文件时出现内存错误

Question

我有一个大约 36gb 的文本文件，其中每行包含单词，我正在尝试读取该文件，但它显示内存错误，对此我并不感到震惊，但我该如何解决？

我正在尝试这个：

for words in open("hugefile.txt").readlines():
    #do something

我有 2gb 内存，操作系统：Windows XP，Python 2.7

谢谢。

Answer 1

您正在调用readlines()它将整个文件加载到内存中。

而是迭代文件：

for words in open("hugefile.txt"):

这将逐行迭代，根据需要读取更多行。