1

如何通过使用 Pandas 比较 hdf5 文件中的两列来选择一些行?hdf5 文件太大而无法加载到内存中。例如,我想选择 A 列和 B 列相等的行。数据框保存在文件“mydata.hdf5”中。谢谢。

import pandas as pd
store = pd.HDFstore('mydata.hdf5')
df = store.select('mydf',where='A=B')

这行不通。我知道 store.select('mydf',where='A==12') 会起作用。但我想比较 A 列和 B 列。示例数据如下所示:

A B C 
1 1 3
1 2 4
. . .
2 2 5
1 3 3
4

1 回答 1

1

您不能直接执行此操作,但以下操作将起作用

In [23]: df = DataFrame({'A' : [1,2,3], 'B' : [2,2,2]})

In [24]: store = pd.HDFStore('test.h5',mode='w')

In [26]: store.append('df',df,data_columns=True)

In [27]: store.select('df')
Out[27]: 
   A  B
0  1  2
1  2  2
2  3  2

In [28]: store.select_column('df','A') == store.select_column('df','B')
Out[28]: 
0    False
1     True
2    False
dtype: bool

这应该是非常有效的。

于 2014-12-08T11:28:44.897 回答