python - Python从末尾读取文件，文件很大，无法读入内存

Question

如何从文件末尾的 DESC 中读取文件？例如

文件名：测试

内容：

11111111
22222222
333333333

---

fp = open('test', 'r')
print fp.readline

---

333333333
22222222
11111111

这是一个大文件，我不想把所有内容都读出来。

Answer 1

而不是从末尾读取行，这是一个相对繁琐的过程，

你可以使用 reversed() 函数如下..

with open(filename, 'r') as fheader:  
    for line in reversed(fheader.readlines()):  
         print line 

希望这可以帮助 ：）

Answer 2

for x in open(r'C:\test.txt').readlines()[::-1]:
    print x

Answer 3

就在几个月前，我们在中国 Python 用户组讨论了同样的问题。其中一些答案是从我们的讨论中复制而来的。

不管你选择什么解决方案，本质都是一样的：寻找文件末尾，读取一个数据块，找到最后一个换行符（\r\n或\n），获取最后一行，向后寻找，然后一遍又一遍地做同样的事情。

您可以尝试使用 预处理文件tail -n，它是高效的（在 C 中实现）并且专为这项工作而设计。如果您想自己实现它，请查看它的源代码。

或在 Python 中调用相同的命令：

from subprocess import Popen, PIPE
txt = Popen(['tail', '-n%d' % n, filename], stdout=PIPE).communitate()[0]
;)

或尝试纯 python 解决方案：

def last_lines(filename, lines = 1):
    #print the last several line(s) of a text file
    """
    Argument filename is the name of the file to print.
    Argument lines is the number of lines to print from last. 
    """
    block_size = 1024
    block = ''
    nl_count = 0
    start = 0
    fsock = file(filename, 'rU')
    try:
        #seek to end
        fsock.seek(0, 2)
        #get seek position 
        curpos = fsock.tell()
        while(curpos > 0): #while not BOF
            #seek ahead block_size+the length of last read block
            curpos -= (block_size + len(block));
            if curpos < 0: curpos = 0 
            fsock.seek(curpos)
            #read to end
            block = fsock.read()
            nl_count = block.count('\n')
            #if read enough(more)
            if nl_count >= lines: break 
        #get the exact start position
        for n in range(nl_count-lines+1):
            start = block.find('\n', start)+1 
    finally:        
        fsock.close()
    #print it out  
    print block[start:] 

if __name__ == '__main__':
    import sys
    last_lines(sys.argv[0], 5) #print the last 5 lines of THIS file