15

有没有办法使用 pd.to_feather 附加到 .feather 格式文件？

我也很好奇是否有人知道最大文件大小方面的一些限制，以及在读取 .feather 文件时是否可以查询某些特定数据（例如 read rows where date > '2017-03-31 '）。

我喜欢能够存储我的数据框和分类数据的想法。

4

1 回答 1

5

不幸的是，羽毛和镶木地板都是面向列的文件。这意味着您无法“追加”，因为这仅在面向行的文件格式中才有可能。如果您想使用镶木地板或羽毛，您可以研究的替代方法是对文件进行分区。例如，如果您有不变的数据，并且每天生成一次，您可以根据日期写入和分区。它在读取和写入文件时确实会产生一些开销，但可能比每次都重写整个文件更好。

由于它是列格式，因此您也无法查询并且只能读取日期>2017-01-01 的行，parquet 擅长的是您只能读取分析所需的列.

于 2018-11-30T10:33:05.890 回答