select - 通过使用 HDFStore 比较列来选择行

Question

如何通过使用 Pandas 比较 hdf5 文件中的两列来选择一些行？hdf5 文件太大而无法加载到内存中。例如，我想选择 A 列和 B 列相等的行。数据框保存在文件“mydata.hdf5”中。谢谢。

import pandas as pd
store = pd.HDFstore('mydata.hdf5')
df = store.select('mydf',where='A=B')

这行不通。我知道 store.select('mydf',where='A==12') 会起作用。但我想比较 A 列和 B 列。示例数据如下所示：

A B C 
1 1 3
1 2 4
. . .
2 2 5
1 3 3

Answer 1

您不能直接执行此操作，但以下操作将起作用

In [23]: df = DataFrame({'A' : [1,2,3], 'B' : [2,2,2]})

In [24]: store = pd.HDFStore('test.h5',mode='w')

In [26]: store.append('df',df,data_columns=True)

In [27]: store.select('df')
Out[27]: 
   A  B
0  1  2
1  2  2
2  3  2

In [28]: store.select_column('df','A') == store.select_column('df','B')
Out[28]: 
0    False
1     True
2    False
dtype: bool

这应该是非常有效的。