问题标签 [ff]

这是按月线性分配金额的后续问题。

首先，非常感谢 Señor O、Michele 和 G. Grothendieck 对最初问题的帮助。

现在，我的问题。请考虑以下 FFDF：

我想做和以前一样的事情，按日历月线性拆分金额。但这次使用的是 FFDF 数据结构。

最初的答案是，使用 Map 将自定义爆炸函数的输出“吐出”到 rbind 调用中，然后进行聚合，这被证明是一种非常好的学习体验。确实花了两天时间才真正弄清楚该解决方案是如何工作的，但我最终到达了那里，并做了我所追求的。

然而，在将这种学习应用于真实数据集时，我遇到了内存问题，于是我发现了 ff 包，这非常有用。

为了尝试对 ffdfs 做同样的事情，我尝试使用 ffdfdply，但发现自己非常迷茫，我正在向 SO 寻求一些指导。

非常感谢！

我正在尝试按日期对 FFDF 进行子集化。下面，我已经使用普通数据框成功创建了这样一个子集。但是我需要一些帮助才能将其应用于 FFDF。我的尝试以及错误消息都列在代码注释中。提前谢谢了！

我正在使用包中的read.table.ffdf函数ff来读取一个巨大的数字矩阵。然后如何在不首先转换为 RAM的情况下将此生成ffdf的对象转换为对象？ff

假设我有ff_matrix（也不适用于ffdf）名为xand的对象y。x是一个 100*10 的矩阵，y是一个 10*1 的矩阵。

但是，x %*% y会导致Error in x %*% y : requires numeric/complex matrix/vector arguments.

我是 R 的新手。我有一个大约 2.5 GB 的大 csv，有 3 列和 4000 万行。该列的数据类型是整数、日期时间和字符。如何使用 ff 包加载这个 csv？

Suppose two ffdf files:

How can I column bind these without loading them into memory? cbind doesn't work.

There is the same question http://stackoverflow.com/questions/18355686/columnbind-ff-data-frames-in-r but it does not have an MWE and the author abandoned it so I reposted.

我正在使用大矩阵和 ff 包。我正在加载一个 ff 对象，我想用它来计算 crps（分数）。

例如，我有一个 ff_matrix（称为 Mat，有 25 行和 7303 列），它是降水预报（7303 代表天数（大约 20 年），25 是一天的 25 次降水模拟）。我还有一个 ff_array，其中包含这 20 年的观察结果（称为 Obs 和 7303 值）。

使用包 ensembleBMA 我想计算 CRPS。我需要将我的 ff_matrix 和我的 ff_array 放在一个“ensembleBMA”对象中（实际上这是一个 data.frame）。

对于此代码：

我有这个错误：

我尝试了不同的选项，例如：

我总是有这些错误：

或者

有人有想法吗？

我在 R 中创建了一个 300000 x 7 数字矩阵，我想在 R 和 Matlab 中使用它。但是，我无法为 Matlab 创建一个可读性好的文件。当使用命令 save() 时，file=xx.csv，它会识别 5 列；扩展名为 .txt 的所有数据都在单个列中打开。我也尝试使用包 ff 和 ffdf 来管理这个大数据（我猜 R 在保存时识别行和列的问题与此有关），但我不知道如何将它保存为 Matlab 的可读格式然后。

该数据集的一个示例是：

output <- matrix(runif(2100000, 1, 1000), ncol=7, nrow=300000)

我是 R 和 FF 包的新手，我试图更好地了解 FF 如何允许用户使用大型数据集（>4Gb）。我花了相当多的时间在网上搜索教程，但我能找到的那些通常都超出了我的想象。

我通过做学得最好，所以作为练习，我想知道如何使用任意值创建一个长格式的时间序列数据集，类似于 R 的内置“Indometh”数据集。然后我想把它重塑成宽幅。然后我想将输出保存为 csv 文件。

对于小型数据集，这很简单，可以使用以下脚本来实现：

但我想学习为大约 10 Gb 的文件大小执行此操作。我将如何使用 FF 包做到这一点？提前致谢。

我有一个包含 450 万行和 90 列的文本文件要导入到 R 中。使用时read.table我收到cannot allocate vector of size...错误消息，因此我尝试使用 ff 包导入，然后再对数据进行子集化以提取我感兴趣的观察结果（有关更多详细信息，请参阅我以前的问题：将选择条件添加到 read.table）。

所以，我使用下面的代码来导入：

但这会返回以下错误消息：

我究竟做错了什么？

以下是文本文件的前 5 行：