我在pythonpandas
中使用库面临内存泄漏问题。我在我的类中创建对象并且我有方法,可以根据我的条件改变数据框的大小。在更改数据框大小并创建新的熊猫对象后,我在课堂上重写了原始的 pandas.dataframe。但是即使在显着减少初始表之后,内存使用率也非常高。一些简短示例的代码(我没有编写流程管理器,请参阅任务管理器):pandas.dataframe
import time, string, pandas, numpy, gc
class temp_class ():
def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):
self.nrow = nrow
self.ncol = ncol
self.timetest = timetest
def createDataFrame(self):
print('Check memory before dataframe creating')
time.sleep(self.timetest)
self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
print('Check memory after dataFrame creating')
time.sleep(self.timetest)
def changeSize(self, from_ = 0, to_ = 100):
df_new = self.df[from_:to_].copy()
print('Check memory after changing size')
time.sleep(self.timetest)
print('Check memory after deleting initial pandas object')
del self.df
time.sleep(self.timetest)
print('Check memory after deleting copy of reduced pandas object')
del df_new
gc.collect()
time.sleep(self.timetest)
if __name__== '__main__':
a = temp_class()
a.createDataFrame()
a.changeSize()
在创建数据框之前,我大约有。15 mb 的内存使用量
创建后 - 67mb
更改大小后 - 67 mb
删除原始数据框后 - 35mb
删除缩小表后 - 31 mb。
16 兆?
我在 Windows 7 (x64) 机器 pandas 上使用 python 2.7.2(x32)。版本是 0.7.3。麻木的。版本是 1.6.1