问题标签 [feather]

我在读取具有重复名称的 2 列以上的羽毛格式的数据文件时遇到问题。是否可以在元数据级别删除重复名称或以某种方式加载具有重复名称的数据。

假设数据集“mtcars”保存在磁盘上并由

给

[32 x 12]@mtcars

• 'mpg' : 双倍

• 'mpg' : 双倍

• 'mpg' : 双倍

• 'cyl' : 双

• 'disp' : 双倍

通过使用"read_feather("mtcars")它会产生错误

错误：列名mpg、mpg、 不得重复。使用 .name_repair 指定修复。

如何解决这个问题？

我正在练习我的 Python，特别是我的 numpy 和 pandas。我有一些 .rda 格式的数据（不是我的），我想将它们作为数据框导入 python。但是我不使用 R，所以我想知道是否可以在不摆弄基本文件的情况下做到这一点。从我在网站上看到的情况来看，羽毛被推荐了，所以我尝试了以下方法：

但这会产生“ArrowInvalid：不是羽毛文件”错误，这听起来像是我必须先深入研究 .rda 文件并将其制成 .fea 文件，我不想像我想象的那样做d 必须安装 R。非常感谢提前。

我有一个（每天增长的）大约 100 个大 excel 文件的列表，我用 Python 对其进行分析。由于我必须对所有文件运行几个循环，我的分析变得越来越慢。因此，我想将所有 excel 文件转换为羽毛格式（比如每周一次）。有没有聪明的方法来做到这一点？到目前为止我已经尝试过：

但我收到以下错误消息：

我想使用 .ftr 文件快速分析数百个表。不幸的是，我在小数点和千位分隔符方面遇到了一些问题，类似于那篇文章，只是 read_feather 不允许decimal=',', thousands='.'选项。我尝试了以下方法：

导致

当我将其更改为

我在结果中收到了一些奇怪的（四舍五入）错误，例如 22359999999999998 而不是 2236 用于某些高于 1k 的数字。1k以下都是真实结果的10倍，这可能是因为删除了“。” 浮点数并创建该数字的整数。

试

也会导致结果中出现一些奇怪的行为，因为一些数字在 10^12 中，而另一些则保持在 10^3 中。

以下是我从多个 Excel 文件创建 .ftr 文件的方法。我知道我可以简单地从 Excel 文件创建 DataFrame，但这会大大降低我的日常计算速度。

我该如何解决这个问题？

编辑：问题似乎来自于以 df 格式读取 excel 文件，其中关于十进制和千位分隔符的非美国标准，而不是将其保存为羽毛。使用pd.read_excel(f, encoding='utf-8', decimal=',', thousands='.')读取 excel 文件的选项解决了我的问题。这就引出了下一个问题：

为什么在羽毛文件中保存浮点数会导致奇怪的舍入错误，例如将 2.236 更改为 2.2359999999999998？

我有一个熊猫数据框 dfwin。

我将它保存为羽毛格式，希望我能在 R 中阅读它。

但是R总是抛出错误“openFeather（路径）中的错误：无效：不是羽毛文件回溯：

1. read_feather("./aFolder/dfwin.feather")
2. 羽毛（路径）
3. openFeather(路径)"

有人可以在这里帮助我吗？我使用的 R 代码如下：

将 DataFrame 序列化为内存表示的最快方法是什么？根据一些研究，似乎人们普遍认为Apache Feather格式是大多数指标中最快的可用格式。

我的目标是获取 DataFrame 的序列化字节 - Feather 的唯一问题是我想避免从磁盘写入和加载的开销，而且 Feather API 似乎只允许文件 I/O。我应该为此研究一种不同的格式，还是 Python 中有一种方法可以“伪造”文件，从而迫使 Feather 改为写入内存缓冲区？

我曾经conda install pyarrow在通过 Anaconda 导航器启动的 Spyder 中安装 pyarrow。但是在我尝试以羽毛格式保存文件后，我收到了以下错误。

回溯（最后一次调用）：文件“”，第 1 行，在 pyarrow.feather.write_feather(df,"/Users/omg/Downloads/testFeather.ftr") 属性错误：模块 'pyarrow' 没有属性 'feather'

代码是

版本是：pyarrow。版本 '0.11.1' np。版本 “1.18.1”

PD。版本 “1.0.3”

我feather通过安装

在此过程中，pyarrowconda 可能安装了更多软件包。

尝试执行时import feather，我收到以下错误消息：

我使用的是 Ubuntu 20.04，这是我通过 Anaconda 安装的 Python 3.7.7。

我想.ftr在 R 中打开一个文件。[不是.feather文件！]。

但是羽毛包和箭头都不能完成这项工作，例如两者

做这项工作。

箭头方法给出以下错误消息：

有机会读入.ftr文件吗？

供您参考，我.ftr在 python 中创建了文件，pandas如

bla作为pandas.DataFrame

当我尝试读取羽毛文件时，出现此错误：

ArrowInvalid：第 0 列：在块 0 中：无效：缓冲区 #1 在 int64 类型和长度 14712 的数组中太小：预计至少 117696 字节，得到 3450