pyarrow - Apache Arrow 还是羽毛插件？

Question

我想使用本地羽毛文件作为 Intake 的来源。羽毛/箭头的插件还不存在还是我遗漏了什么？

Answer 1

你是对的，据我所知，目前没有用于 Intake 的羽毛或箭头（即帧缓冲区）驱动程序。Dask 也不支持。

鉴于 pandas确实明确支持羽毛，很容易为 Intake 构建驱动程序，支持多个远程文件，这些文件甚至可以与 Dask 并行加载，而无需向 dask 添加代码。

但是，首先我想问：为什么不拼花呢？这似乎是标准格式，至少部分是因为它的范围远远超出了 python/arrow。Intake 和任何其他表格数据引擎都支持这种格式。