当 queue.put() 的速度快于 queue.get() 的速度时,我发现 P1 进程将使用大内存(因为 P1 不断地从大文本文件中放置行)。甚至 P2 随后也完成了从队列中取线。P1 使用的内存仍未释放。如何解决这个问题?下面是示例和测试代码。
谢谢!
import time
from multiprocessing import Process, Queue
def addline(q):
f = file('a big text file','r')
line = True
while line:
line = f.readline()
q.put(line, False)
f.close()
print "P1:finished"
while 1:
time.sleep(2)
def getline(q):
f = file('/tmp/bak','w')
line = True
while line:
line=q.get()
f.write(line)
time.sleep(0.01)
f.close()
print "p2:finished"
if __name__ == "__main__":
q = Queue()
p1 = Process(name="addline", target=addline, args=(q,))
p2 = Process(name="getline", target=getline, args=(q,))
p1.start()
p2.start()
编辑: 我尝试读取一个文本文件(44MB)并观察/proc/pid/smaps。我发现尚未释放的内存在堆中变成了Private_Dirty。
00fb3000-04643000 rw-p 00000000 00:00 0 [heap]
Size: 55872 kB
Rss: 55844 kB
Pss: 55163 kB
Shared_Clean: 0 kB
Shared_Dirty: 1024 kB
Private_Clean: 0 kB
Private_Dirty: 54820 kB
Referenced: 54972 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB