2

我正在使用 blaze 项目中的 odo 按照以下问题中的建议合并多个 pandas hdfstore 表：连接两个大熊猫.HDFStore HDF5 文件

这些商店在设计上具有相同的列和不重叠的索引以及几百万行。单个文件可能适合内存，但总组合文件可能不适合。

有没有办法可以保留创建 hdfstore 的设置？我松开了数据列和压缩设置。

我试过odo(part, whole, datacolumns=['col1','col2'])没有运气。

或者，将不胜感激对替代方法的任何建议。我当然可以手动执行此操作，但我必须管理块大小以免内存不足。

4

1 回答 1

2

odo不支持传播compression和/或data_columnsATM。两者都很容易添加，我在这里创建了一个问题

你可以这样做pandas：

In [1]: df1 = DataFrame({'A' : np.arange(5), 'B' : np.random.randn(5)})

In [2]: df2 = DataFrame({'A' : np.arange(5)+10, 'B' : np.random.randn(5)})

In [3]: df1.to_hdf('test1.h5','df',mode='w',format='table',data_columns=['A'])

In [4]: df2.to_hdf('test2.h5','df',mode='w',format='table',data_columns=['A'])

遍历输入文件。块读/写到最终存储。请注意，您还必须在data_columns此处指定。

In [7]: for f in ['test1.h5','test2.h5']:
   ...:     for df in pd.read_hdf(f,'df',chunksize=2):
   ...:         df.to_hdf('test3.h5','df',format='table',data_columns=['A'])
   ...:         

In [8]: with pd.HDFStore('test3.h5') as store:
    print store
   ...:     
<class 'pandas.io.pytables.HDFStore'>
File path: test3.h5
/df            frame_table  (typ->appendable,nrows->1,ncols->2,indexers->[index],dc->[A])
于 2015-05-27T10:41:04.863 回答