问题标签 [ff]

我需要一个建议来找到 ffdf 中最常见的元素，然后删除所在的行。我决定尝试使用 ff 包，因为我正在处理非常大的数据并且基本 RI 内存不足。

这是一个小例子：

我在找：

• 导出 ffdf 中出现频率最高的元素（在本例中为“b”）
• 从ffdf中删除“b”所在的所有行

因此，新的 ffdf 必须如下：

在基础 RI 中找到了“table”函数的方法

但是处理大量数据我需要 ff 包之类的东西。

我有一个ffdf对象x，其中包含一个带有变量的数据集y和z. 由于有数百万行，它需要存储为ffdf对象。我的问题是这样的：

我想在这个对象中创建一个新变量q，这取决于z.

z取三个值：1、2 和 3，当 z=1时，我想要q=A，何时z=2，我想要q=B，何时z=3，我想要q=C。

实际上 z 有大约 30 个级别，我尝试过ffifelse似乎非常低效的语句。我还尝试了以下方法：

x$q[x$z==1] <- ff("A")

但随后我收到以下错误：

错误：长度（值）== n 不是 TRUE

对于在对象中转换和创建新变量的任何帮助，我将不胜感激ffdf。

我是处理 R 中大矩阵的新手。我正在尝试学习ff. 我可以创建大型ff矩阵ffsdist1，ffsdist2如下所示。

我可以按如下方式创建 ff 矩阵

我想在矩阵上sdist1和矩阵中复制以下操作。sdist2ff

1.rbind()

2.更换零件使用[

3.提取零件使用[

和

4.添加两个矩阵

5. 转置

这个对吗

6.使用apply

如何使用ffpackage in做到这一点R？

从 save.ffdf 的文档中：

使用“save.ffdf”会自动将“ff”向量的“终结器”设置为“关闭”。这意味着当对象被删除或 R 会话关闭时，数据将保留在磁盘上。可以使用“删除”或删除保存对象的目录（“目录”）来删除数据。

我想从一个小的 ffdf 数据框开始，一次添加一点新数据，然后在磁盘上增长它。于是我做了一个小实验：

事实证明，当我删除 ffiris 时，它不会自动更新磁盘上的 ff 数据。手动保存呢？

嗯，还是没有运气。为什么？

在保存之前删除文件夹怎么样？

甚至更陌生。即使这一切都有效，它仍然会非常低效。我正在寻找类似的东西：

有人可以帮忙吗？

I've tried to generate a matrix using ff package, but I get the following error:

How can I solve that?

我正在尝试读入（并最终合并/链接/操作）一系列大（~300M）和非常大（~4G）的固定宽度文件，用于最终的回归、可视化等，并且遇到了一些障碍。

首先，文件本身的格式很奇怪——我猜是 SQL-y。此处引用了文件格式： https ://msdn.microsoft.com/en-us/library/ms191479.aspx 。它是固定宽度，但在该列经历完整的固定宽度之前，最后一列似乎（有时？）用 \r\n 切断。为了阅读它，我尝试了 laf_open_fwf 和 data.table::fread，但他们似乎都感到困惑。示例文件和相关的非 XML 格式描述符在此处。我什至无法通过那愚蠢的最后一栏正确阅读内容。这是该文件的示例：

（但请注意，CR/LF 在这里是不可见的，问题在于它们的奇怪位置。请参阅上面的记事本 ++ 视图的 .txt 文件或 png 文件（我无法链接，低代表）的链接数据来证明该领域的问题。）

其次，文件大小是一个问题。我知道我有很多表操作要做，所以我很想看看 data.table ......但我也相信 data.table 将整个对象存储在 RAM 中，这将是有问题的。LaF 或 ffdf 或 sqlite 似乎是选项，虽然我是新手，但需要先处理这个文件格式问题。

一些问题得到了这个一般的想法，建议 LaF、ffbase 或 data.table 在下面......

读取固定宽度的大数据

在 R 中快速读取非常大的表作为数据框

加快R中固定宽度格式表的导入

...但似乎没有人（1）处理这种奇怪的固定宽度格式或（2）最终将数据移动到 data.tables 中，这似乎是我想先尝试的。我考虑过尝试将它们打开并重写为格式良好的 CSV，以便 data.table 可以处理它们（我通过 data.frames 并返回 csv 的愚蠢破解感觉荒谬且不可扩展，如下）。CSV 导出表明文件变得多么混乱，因为 laf 阅读器严格按字段长度而不是根据 /r/n 的位置进行调整......

目前我正在尝试类似下面的初学者。帮助，如果可能的话？

我正在尝试将给定函数应用于“as.ffdf”对象中的列，但我没有任何运气。任何人都可以提供以下建议吗？n = 3711 并且 myProbDensity 的维度为 95248 行和 3711 列。

执行上述代码时，我得到“您只能更改最快的旋转暗淡”。我不太确定这意味着什么。myQuantileFun 函数也返回一个函数而不是一个值（我不确定这是否会有所不同）。任何帮助都会很棒。

我试图在我的 ffdf 中添加一个 Source 列，但似乎无法让它工作......如果它是一个普通的 df 我会简单地写

如果我为 ffdf 执行此操作，它会返回错误

有任何想法吗？

我在 R 中有 2 个相对较大的数据框。我正在尝试尽可能高效地合并/查找所有组合。结果 df 变得很大（长度为dim(myDF1)[1]*dim(myDF2)[1]），因此我尝试使用ff. 我也愿意使用其他解决方案，例如bigmemory解决这些内存问题的包。我对这些软件包中的任何一个几乎都没有经验。

工作示例 - 假设我正在使用一些类似于 USArrests 的数据框：

现在，我将制作 2 个数据框，它们代表来自 myNames 的一些特定观察集。稍后我将尝试通过它们的行名来引用它们。

例如，我在 myDF1 中的第一组状态是myNames[unlist(myDF1[1, ]), ]. 然后我将使用以下命令找到 myDF1 和 myDF2 的所有组合ikey：

1）有没有更快的方法来排序？

2) 这种组合是否有替代方案（不使用 RAM）？

最后，我希望能够按行/列引用任何原始数据。具体来说，我想获得不同类型的 rowSums。例如：

3）最终，我想要一个带有上述 rowSum 的向量，所以我可以在myDF. 关于如何最有效地做到这一点的任何建议？

谢谢！

我正在使用 Firefox 附加组件。我想使用这个命令行执行 IE：

这很好用。但是如果你必须使用参数，它就行不通了：

问题是传递的文本将在第一个“&”字符处被截断。如果我将 url 放入引号中，它会再次起作用。

所以我使用这段代码来实现插件：

这适用于第一种情况：如果字符串中没有“&”字符，它可以工作。但是如果我把关键线换成

它不起作用，因为"将被交换为 URI 代码，但 URI 代码在 IE 中不起作用。

你知道解决方案是什么吗（我知道没有cmd它可以工作等，但我需要这个cmd启动解决方案）