问题标签 [feather]

我正在使用featherPython（收集数据）和 R（用于分析）之间的数据交换包，在 Python 中写入和读取数据非常快。但是，在 R 中读取相同的羽化对象非常慢，对于具有大约 80K 行和 24 列的大约 10MB 羽化对象，大约需要几分钟。每次我在本地读取羽毛对象时，都不是由于网络延迟。

我认为唯一可能是，一些变量（准确地说是 5 个）是Python 中的类型，当 R 导入它们时int64，它们会被强制转换为类型。double这会导致 Rcoercing int64 to double在读取羽毛对象期间发出警告。任何人都可以确认这一点还是有其他解释？

编辑：强制不是问题，我在 Python 中重新保存了int64列，int32而 R 中的读取仍然很慢。需要帮忙。

编辑2：示例代码根据要求，这是我正在运行的代码。基本上只是从子文件夹中读取羽毛对象：

让我们考虑一下 tibble

显然它与自身相同

但是，如果我将文件写入磁盘然后读取它，则会出现错误

我正在尝试feather在 FreeBSD 机器上安装该软件包，但由于以下错误而崩溃：error: 'snprintf' was not declared in this scope. g++用于编译。

任何有关如何处理此问题的提示将不胜感激。

以下是完整的安装日志。

当我尝试通过时，我一直在努力处理从 Feather.jl 加载的数据框

它给出了一个错误

MethodError：不能convert将 String 类型的对象转换为 CategoricalArrays.CategoricalValue {String,Int32} 类型的对象

类型信息如下

CategoricalArrays的文档不包含大量有关使用 DataFrames 的文档（我猜也不应该）

但是，我尝试用测试值替换该列，然后 by 起作用。

所以 CategoricalArrays 一定有问题。但我不知道如何做这个简单的总结。请帮忙

我正在尝试将我的 pandas 数据框保存到羽毛，但我的values列有一些问题（这是一个 numpy 数组）......这是我的 df：

当我尝试保存它时：

我也尝试values用泡菜保存，但没有成功......

我不想使用csv. 我能做些什么？

编辑1

sample列单元格代表测量样本。这意味着样本的长度可以从数百到数千个值。因此，numpy 数组的长度是非常可变的。

df.dtypes values object name object

我正在尝试提供基于烧瓶的微服务来公开数据库中的一些数据。在服务器端，数据在被提供之前被预先处理并放入一个 pandas DataFrame 中。

一种简单的选择是将其作为 json 文件提供。但这很无聊和浪费。我的首选选项是使用羽毛二进制格式。如果它是预先存在的文件，我设法发送羽毛文件。问题是我无法调用在to_feather()到达端点时调用的函数内部的方法，以便能够根据给定端点的参数动态生成数据帧。

问题是如何强制将羽毛文件的刷新（？）放入磁盘以便能够为它提供服务，或者是否有更好的方法。

我正在尝试以pandas.read_sas()块的形式读取二进制压缩的 SAS 文件，并将每个块保存为单独的羽毛文件。

这是我的代码

但是我收到以下错误

ValueError Traceback (last last call last) in () 1 i = 1 2 for pdj in pdi: ----> 3 fr.write_dataframe(pdj, 'C:/test' + str(i) + '.feather') 4 我 = 我 + 1 5

~\AppData\Local\Continuum\anaconda3\lib\site-packages\pyarrow\feather.py in write_feather(df, dest) 116 writer = FeatherWriter(dest) 117 try: --> 118 writer.write(df) 119 except : 120 # 尝试确保资源已关闭

~\AppData\Local\Continuum\anaconda3\lib\site-packages\pyarrow\feather.py in write(self, df) 94 95 elif inferred_type not in ['unicode', 'string']: ---> 96 raise ValueError(msg) 97 98 if not isinstance(name, Six.string_types):

ValueError：无法使用 dtype 字节序列化名为 SOME_ID 的列 0

我正在使用 Windows 7 和 Python 3.6。当我检查它时，大多数列的单元格都被包裹在b'cell_value'其中，我假设这些列是二进制格式的。

我是一个完整的 Python 初学者，所以不明白问题出在哪里？

我在 pandas 0.20.3 中运行 df.to_feather 方法，并收到一条错误消息，建议我运行：

conda 安装羽毛格式 -c conda-forge

运行它会警告它会更改许多 python 包，并且有些似乎是（小）降级。这是预期的行为吗？等待 Anaconda 的下一次更新会更好（我现在有 Anaconda 5.0.1 x64），其中大概会有 pandas 0.21？谢谢。

以下是我安装羽毛时将进行的更改列表：

应用程序级别的挂钩是否有任何注册方法？因为就像在 featherjs文档中一样

它引用了

这个创建方法在应用程序中的什么地方出现？它都在某个路径上注册为服务方法吗？

用于状态的 R 帮助feather_metadata“返回维度、字段名称和类型；以及可选的数据集描述。” 但没有关于如何添加数据描述的信息。我希望它可以作为属性添加，但这似乎不起作用。

str返回：