10

我正在处理一个包含大约 20,000,000 行和 4 列的大型数据集。不幸的是，我机器上的可用内存（~16GB）是不够的。

示例（时间是从午夜开始的秒数）：

           Date   Time   Price     Vol
0      20010102  34222  51.750  227900
1      20010102  34234  51.750    5600
2      20010102  34236  51.875   14400

然后我将数据集转换为适当的时间序列对象：

                         Date   Time   Price     Vol
2001-01-02 09:30:22  20010102  34222  51.750  227900
2001-01-02 09:30:34  20010102  34234  51.750    5600
2001-01-02 09:30:36  20010102  34236  51.875   14400
2001-01-02 09:31:03  20010102  34263  51.750    2200

为了释放内存，我想删除多余的日期和时间列。我用.drop()方法做，但内存没有释放。之后我也尝试打电话gc.collect()，但这也无济于事。

这是我调用来处理所描述的操作的代码。del零件释放内存但不释放drop零件。

# Store date and time components
m, s = divmod(data.Time.values, 60)
h, m = divmod(m, 60)
s, m, h = pd.Series(np.char.mod('%02d', s)), pd.Series(np.char.mod('%02d', m)), pd.Series(np.char.mod('%02d', h))

# Set time series index
data = data.set_index(pd.to_datetime(data.Date.reset_index(drop=True).apply(str) + h + m + s, format='%Y%m%d%H%M%S'))

# Remove redundant information
del s, m, h
data.drop('Date', axis=1, inplace=True)
data.drop('Time', axis=1, inplace=True)

如何从 pandas 数据框中释放内存？

4

1 回答 1

1 
del data['Date']
del data['Time']

这将释放内存。

于 2019-09-26T09:55:32.903 回答