feather - 如何压缩和解压缩 Arrow 或 Feather 文件？

Question

我计划将数据文件格式从镶木地板更改为羽毛。Parquet 有压缩选项（lz4 等），我已经使用过它们。但我在羽毛或箭头文件中找不到它们。不支持压缩吗？

Answer 1

专为内存驻留数据设计的 Arrow 文件格式不支持lz4、snappy、gzip 和 zlib 等压缩算法。Arrow 当前支持的唯一压缩是字典压缩，这种方案通常不需要在数据处理之前进行解压缩。