问题标签 [feather]

由于在Feather Github中搜索问题，以及 stackoverflow 中的问题，例如Feather和 parquet 之间有什么区别？，由于Apache Arrow版本为 0.xx，因此不建议将 Feather 格式作为长期存储，并且由于持续的新版本而被认为是易失性的。

我的问题是，从当前的 Apache Arrow 版本 1.0.1 开始，这种情况是否发生了变化？Feather 是否被认为可以稳定地用作长期存储？

我有一个带有时间戳的熊猫数据框，如下所示：

我用 将它写入一个羽毛文件df.to_feather('a.feather')，然后用 .R 在 R 中读回它df <- arrow::read_feather('a.feather')。

当我显示它时，我看到

是01:00:00从哪里来的？我怎样才能摆脱它？

我对 Julia 编程很陌生。

我有一个包含 CSV 文件 (14) 的文件夹，我加入了一个大数据框，我正在尝试保存大 CSV。（行 - 262673020 x 列 - 77）当我使用 CSV.write - 我收到此错误：BoundsError：尝试访问索引 [1:4194305] 处的 4194304 元素数组 {UInt8,1}。

所以我试图将它保存到一个羽毛文件中，但我收到了这个错误：InexactError: trunc(Int32, 2147483662) - 这个错误看起来最多达到 32 个。但不知道为什么

我不确定发生了什么，只需要一些帮助来了解该怎么做。

包版本 - Julia 版本 1.5.2， - Glob v1.3.0， - CSV v0.5.23， - 表格 v0.2.11， - Feather v0.5.4

更新到包 - Julia 版本 1.5.2 - CSV 0.7.7 - DataFrames v0.21.8 - Glob v1.3.0 - 表格 v1.1.0 - Feather v0.5.6 -

我有一个使用两个 R 包的 python 项目。我必须使用这些包，因为它们在今天的 Python 中不存在。虽然我的项目运行良好，但一个障碍是用户必须在本地系统中使用 R（或 R studio）安装这两个包。我想知道是否可以在 python 项目 requirements.txt 文件中添加这些包名称，以便它们与其他 python 包一起安装。这方面的任何线索都是有帮助的......只是想让我的项目的用户更容易。

我正在尝试使用如下方式将羽毛文件读入 Python pyarrow：

但是，当我运行它时，我收到以下错误消息：

根据此处的文档，V2 支持 LZ4。我也尝试使用该feather包将其读入 R，但它告诉我该文件不是羽毛文件。知道为什么会这样吗？这是否表明文件本身已损坏？

我正在使用 Python 3.8 和最新版本的 pyarrow (2.0.0)。

谢谢！

我有一个包含多个.feather文件的 s3 文件夹，我想将这些文件加载​​到dask使用 python 中，如下所述：Load many feather files in a folder into dask。我尝试了两种方法都给了我不同的错误：

是否有另一种方法可以从 s3 读取这些文件？这里的主要目的是规避由pd.concat.

我想使用本地羽毛文件作为 Intake 的来源。羽毛/箭头的插件还不存在还是我遗漏了什么？

R的（现已被取代的）独立羽化库有一个名为的函数，该函数feather_metadata()允许从磁盘上的羽化文件中读取列名和类型，而无需打开它们。这对于在 R 中加载羽毛文件时仅选择特定列很有用read_feather(path, columns = c(...))

现在羽毛格式是箭头库的一部分，feather_metadata()不再包括在内。

箭头中是否有等效功能可以在加载之前从 R 读取磁盘上的列名和文件类型？

我没有成功阅读由箭头的python脚本javascript库生成的javascript的Apache Arrow Feather。. 我正在使用 Apache Arrow 项目中的 pyarrow 和 arrow/js。

我创建了一个简单的 python 脚本来创建 Feather 文件：

如果我在 python 中读取“simple.arrow”文件并在 Jupyter 笔记本中输出该文件，我会得到预期的结果：

等等

但是，如果我使用简单的 Javascript 实现或 js 库提供的arrow2csv.js实现来读取文件，则结果数据如下所示（忽略索引，输出来自使用从 1 开始的索引的 arrow2csv.js 输出):

等等

所以基本上，所有应该是 UInt32 的值都是不正确的。在我看来，JS 实现似乎没有正确读取 Feather 文件。这是一个错误还是我对 Feather 文件格式及其使用有误解？

此致，

-托尼

我是新手。有任何想法吗？谢谢你！