问题标签 [feather]

我们已经使用 sitefinity 和 MVC（羽毛小部件）建立了我们的平台。这适用于网站本身。我们现在还想开发一个应用程序来提供用户 REST 服务。为此，我们实现 了https://docs.sitefinity.com/implement-the-apicontroller-mvc 如果我们导航到 Web 浏览器中的 url，我们会得到正确的结果。

我现在正在 WPF 中制作一个演示应用程序来使用此服务并测试我正在使用的所有功能https://docs.sitefinity.com/request-access-token-for-calling-web-services#resource-owner-client- flow-request-a-token-by-a-trusted-client 这个链接，但是在遵循示例之后，我遇到了一些我不知道解决方案的错误。

我已经解决了登录问题并获得了一个有效的令牌。但我现在得到一个我无法放置的“不支持的媒体类型”错误。有谁知道可能导致此错误的原因？

编辑：我启动了一个调试窗口，似乎我没有在服务器端获得经过授权的用户。所以我不知道我应该展示谁的数据。我发现http://docs.identityserver.io/en 作为文档，但我没有找到任何关于如何在 sitefinity 中正确执行此操作的文档。

我正在处理一个巨大的 CSV 数据集（5000 万行）。我正在尝试对其进行切片并将其保存为羽毛格式，以便在稍后加载羽毛格式时节省一些内存。

作为一种解决方法，我将数据块加载为 CSV 文件，然后将其合并到一个数据框中。

这是我到目前为止所尝试的：

我收到以下错误：

然后我尝试重置索引，但仍然出现同样的错误。

我找到了有关将文件导入 R 的快速方法的好技巧，但我想知道是否可以仅将给定文件的子集导入变量。

就我而言，我有一个包含 1600 万行的文件保存为 .rds（也保存为 .feather，因为我正在玩这两种格式的速度），我想导入它的一个子集（比如说，一些行或几列）进行初步分析。

可能吗？readRDS() 似乎不接受任何子集，而 read_feather() 似乎不允许行选择（尽管您可以指定列）。我应该考虑另一种数据格式吗？

我正在处理一个包含 2000 万多条记录的非常庞大的数据集。我正在尝试将所有数据保存为羽毛格式以便更快地访问，并在我进行分析时附加。

有没有办法将熊猫数据框附加到现有的羽毛格式文件中？

我有羽毛格式文件sales.feather，用于在python和 R之间交换数据。

在 RI 中使用以下命令：

在python中，我使用了：

将数据从该文件加载到内存到运行的 Spark 实例的最佳方法是什么pyspark？我还想控制pyspark.StorageLevel从羽毛中读取的数据。

我不想使用 pandas 来加载数据，因为它会为我的 19GB 羽毛文件产生段错误，该文件是从 45GB csv 创建的。

我尝试将数据框保存为羽毛格式，但在加载时出现错误

这是加载回数据集

这给出了以下错误

提前致谢

我有一个数据框，其中包含不同数据类型的列，包括日期。不做了一些修改后，我想将它保存为羽毛文件以便以后访问它。但是我在以下步骤中遇到了错误

我正在使用 R 和 Python，并且我想将我的 pandas DataFrames 之一编写为羽毛，以便我可以在 R 中更轻松地使用它。但是，当我尝试将其编写为羽毛时，我收到以下错误：

我仔细检查了我的列类型，它们已经是浮点数 64：

无论使用feather.write_dataframe(df, "path/df.feather")or ，我都会遇到相同的错误df.to_feather("path/df.feather")。

我在 GitHub 上看到了这个，但不明白它是否相关：https ://issues.apache.org/jira/browse/ARROW-1345和https://github.com/apache/arrow/issues/1430

最后，我可以将其保存为 csv 并更改 R 中的列（或仅在 Python 中进行整个分析），但我希望使用它。

编辑1：

尽管下面有很好的建议，但仍然有同样的问题，所以更新了我尝试过的内容。

编辑2：

经过大量搜索，问题似乎在于我的集群列是由 int64 整数组成的列表类型。所以我想真正的问题是，羽毛格式是否支持列表？

编辑3：

简单地说，feather 不支持像列表这样的嵌套数据类型，至少现在还不支持。

我正在使用 R 版本 3.1.2 并想在 RStudio 中安装“羽毛”包：

使用源版本，因为似乎没有二进制版本。
它确实会提取文件并正确检查 MD5 和，但会在几个子步骤中引发错误：

这是 RStudio 告诉我的内容的摘录：

来自 c:\users...\r\win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6.3/../../。 ./../include/c++/4.6.3/algorithm:63，
来自 ./feather/buffer.h:18，
来自 ./feather/metadata.h:23，
来自 ./feather/reader.h:21，
从羽毛/羽毛-c.cc:21:
c:\users...\r\win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6 .3/../../../../include/c++/4.6.3/limits:196:57: 错误：ISO C++ 禁止非 const 静态成员 'is_specialized'
c:\的类内初始化用户...\r\win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6.3/../../../.. /include/c++/4.6.3/limits:201:48: 错误：ISO C++ 禁止非常量静态成员“数字”的类内初始化
c:\users...\r\win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6.3/../../.. /../include/c++/4.6.3/limits:204:50: 错误：ISO C++ 禁止非常量静态成员 'digits10' 的类内初始化
...（对于许多其他部分）...
（也对于一些:)
c:\users...\r\win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6.3/../。 ./../../include/c++/4.6.3/limits:1587:58: 注意：'bool std::numeric_limits::has_quiet_NaN' 不是 const
(and:)
c:\users...\r \win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6.3/../../../../include/c++/4.6 .3/limits:1607:51: 错误：'std::numeric_limits::has_infinity' 的值不能用于常量表达式
（然后是一些:)
c:\users...\r\win-library\3.1\rtools\gcc-4.6.3\bin../lib/gcc/i686-w64-mingw32/4.6.3/../../.. /../include/c++/4.6.3/bits/random.tcc:345:7: error: '_M_x' is not declared in this scope
(and finally:)
被之前的错误弄糊涂了，救出
make: *** [feather/feather-co] 错误 1
​​警告：Ausführung von Kommando 'make -f "Makevars" -f "C:/PROGRA~1/R/R-31~1.2/etc/i386/Makeconf" -f "C: /PROGRA~1/R/R-31~1.2/share/make/winshlib.mk" CXX='$(CXX1X) $(CXX1XSTD)' CXXFLAGS='$(CXX1XFLAGS)' CXXPICFLAGS='$(CXX1XPICFLAGS)' SHLIB_LDFLAGS ='$(SHLIB_CXX1XLDFLAGS)' SHLIB_LD='$(SHLIB_CXX1XLD)' SHLIB="feather.dll" OBJECTS="RcppExports.o feather-read.o feather-types.o feather-write.o"'ergab 状态 2
错误：包 'feather' 的编译失败
* 删除 'C:/Users/.../R/win-library/3.1/feather'
* 在 install.packages 中恢复以前的 'C:/Users/.../R/win-library/3.1/feather'
警告:
运行命令 '"C:/PROGRA~1/R/R-31~1.2/bin/x64/R" CMD INSTALL -l "C:\Users...\R\win-library\3.1" C:\用户...\AppData\LocalTemp\RtmpKsxa73/downloaded_pa​​ckages/feather_0.3.2.tar.gz'
在 install.packages 中有状态 1 警告：
安装包 'feather' 的退出状态非零

I wanted to install the feather-package via CRAN. It doesn't work in RStudio, nor does it in the R console. Running this on Windows 8.1.

Anybody have an idea why this won't install?

To me the problem lies somewhere with the package?
Or could it be a problem with authorization (I do not have administrative rights with my user, but I can install anything in C:\Users\my_user)

我的工作流程通常包括将一些数据（通常来自 CSV 文件）加载到 pandas 数据框中，对其进行清理，为每列定义正确的数据类型，然后将其导出到 SQL 服务器。

对于SQL Server 不可用的情况，存储清理后的数据和每列数据类型的显式定义有哪些好的替代方法？

• 我测试过的唯一真正的解决方案是导出到一个 sqlite .db 文件，使用这里的答案来确保日期被读取为日期。

• Feather、HDF5、Parquet怎么样？Pandas支持它们，但我对这些格式了解不多。我读过feather不推荐长期存储（因为API可能会改变？不清楚）

• 我不确定是否使用 pickle：我知道它不是一种安全格式，并且 API 不断变化并破坏向后兼容性

• CSV 并不是一个真正的选择，因为根据我的数据推断数据类型通常是一场噩梦；将数据读回熊猫时，我需要明确声明格式，包括日期格式，否则：

  • pandas 可以创建列，其中一行是 dd-mm-yyyy，另一行是 mm-dd-yyyy（请参见此处）。加
  • 我有许多文本列，其中前 10k 行似乎是数字，接下来的 100 行是文本，因此大多数软件会推断该列是数字，然后导入失败。也许我需要创建一个函数来导出一个包含所有数据类型定义、日期格式等的辅助文件？可行但麻烦。

更新：这是一个有趣的比较，根据 HDF5 是最快的格式：https ://medium.com/@bobhaffner/gist-to-medium-test-db3d51b8ba7b

我似乎明白 HDF5 和 Parquet 之间的另一个区别是 datetime64 在 Hdf5 中没有直接等价物。大多数人似乎将他们的日期作为 ISO 日期格式 (yyyy-mm-dd) 字符串存储在 HDF5 中。