python - 以 bcolz 格式保存 dask 数据帧

Question

dask 文档指出：“BColz 是一个磁盘上的、分块的、压缩的、列存储。这些属性使其对 dask.dataframe 非常有吸引力，它可以在其上运行得特别好。有一个特殊的 from_bcolz 函数。”

但是，我找不到如何将 dask 数据帧保存到 bcolz 的示例。推荐的方法是什么？

Answer 1

我创建了一个拉取请求来实现这一点。在它被合并到主分支之前，你可以在这里找到它：

https://github.com/dask/dask/pull/1386

如果您不想编辑自己的 Dask 实现，您可以复制该to_bcolz方法。