问题标签 [ff]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
84 浏览

r - 使用 ffvecapply 查找 ff 向量

我正在尝试使用其他两个向量替换 ff 向量的值。使用 RAM 对象很简单:

ff 对象:

我如何使用ffvecapply(或任何其他功能)来实现结果:

我已经检查了这篇文章,但是

返回错误。非常感谢。

0 投票
1 回答
723 浏览

r - 在循环中设置 ffdf

我正在尝试使用 ffbase 在循环中对一个非常大的 ffdf 对象进行子集化,但我收到了错误消息:

我在具有大量可用内存的 ssh 上运行此代码。这是我要运行的代码:

我试图实施 jwijffels 在这个问题的评论中建议的修复,但无济于事。提前致谢!

0 投票
0 回答
95 浏览

r - 内存相关错误:Windows 2008 服务器上的 ff 包

我正在尝试ff在 Windows 2008 服务器上对 R v3.1.0 中的向量进行最简单的索引。以下基本代码:

返回错误:

关于如何/为什么会发生这种情况的任何见解?该代码在我的本地 Windows 7 机器上完美运行,因此我是否可以假设问题出在操作系统上?提前谢谢了。

0 投票
0 回答
203 浏览

r - DocumentTermMatrix 的性能问题

我正在尝试创建两个文档术语矩阵,如下所示:

第一个有 75k 行,第二个有 25k 行。由于我创建了这些,我的内存使用量几乎达到了 7gb。

我想以更有效的方式加速使用这些矩阵...

我考虑了两种可能性,但我不确定如何实现其中任何一种:

  • 将 DocumentTermMatrix 转换为 data.table
  • 使用ff包将它们存储为ffdf

谁能提供有关如何加快使用大型 DocumentTermMatrix 的任何指导或示例?

最终,我希望能够支持超过 3m 行(我目前只使用 100k 的子集)。

0 投票
1 回答
274 浏览

r - 获取所有 ffdf 列的列类列表

我有一个包含几列的 ffdf。我想找到 read.table.ffdf 从数据中自动确定为字符串向量的列类。

这样做的一种粗略方法似乎是遍历列并使用 class(Data[1,index])。有没有更优雅的方式一次完成这一切?

我尝试查看 ffdf 对象的方法,但似乎都不合适。

谢谢!

0 投票
1 回答
308 浏览

r - 创建新列的 R ff 包给出错误“二进制运算符的非数字参数”

如何更新 ff 数据框以添加列?

我已经检查了 ff 和 ffbase 包文档,但找不到有关如何执行此操作的示例。

我设法完成了以下操作: z <- ffdfwith(a_ff, x/y)

但后来我不知道如何用新向量更新 ff 数据框。

0 投票
1 回答
4383 浏览

r - R 无法在 ff 过程中分配内存。怎么来的?

我正在使用带有 Intel Xeon 处理器和 24 GB RAM 的 64 位 Windows Server 2008 机器。我在尝试读取 11 GB(>2400 万行,20 列)的特定 TSV(制表符分隔)文件时遇到问题。我通常的伙伴,,read.table让我失望了。我目前正在尝试ff通过以下程序打包:

这适用于大约 600 万条记录,但随后出现错误,如您所见:

如果我没记错的话,R 抱怨缺乏内存来读取数据,但是在读取数据read...ffdf时,程序不应该避免大量内存使用吗?我在这里做错了什么?

0 投票
1 回答
298 浏览

r - 如何将函数或逻辑测试应用于 ffdf?

这基本上是在询问如何将先前的问题应用于 ffdf:R - 将 ifelse 应用于整个数据框

我基本上是在尝试做同样的事情。给定一个 ffdf 数据框,我基本上是在问如何将 ifelse 应用于整个数据框。请参阅适用于测试的两个示例(数据框)。我正在尝试对 test.ffdf 做同样的事情。我试过用谷歌搜索 q,人们建议要获得 ffdf 的正常 df 部分,请使用物理()。例如:如何将 apply 或 sapply 或 lapply 与 ffdf 一起使用?我可以用它来查看数据,但似乎没有返回可操作的向量。

同样,我可以执行一个逻辑测试,例如

但我似乎无法找到一种方法将它应用于整个 ffdf,就像你可以使用 df 一样。

0 投票
0 回答
728 浏览

r - R ffdfappend SIGBUS 错误

我有一个使用ffbaseandff包的 R 脚本。在 Windows 中,脚本运行良好。在 Linux 中(不同的机器,虽然 RAM 更高)它会因总线 (SIGBUS) 错误而崩溃。

Windows(版本 6.1.7601)会话信息:

  1. R 版本 3.1.0 (2014-04-10)
  2. 平台:x86_64-w64-mingw32/x64(64位)
  3. 附包:ffbase_0.11.3 ff_2.2-13 bit_1.1-12

Linux(Linux xenja 3.5.0-54-generic #81~precise1-Ubuntu SMP Tue Jul 15 04:02:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux)会话信息:

  1. R 版本 3.1.1 (2014-07-10)
  2. 平台:x86_64-pc-linux-gnu(64位)
  3. 附包:ffbase_0.11.3 ff_2.2-13 bit_1.1-12

R 脚本崩溃的点位于循环中,循环重复读取不同的文件内容并通过函数将它们连接到ff数据帧中。ffdfappend循环如下:

当我在 Linux 中运行 R 脚本时,在标准错误中写入以下内容(我故意用@@@截断了很长的行)

当我将 R 脚本附加到 时gdb,我在崩溃时收到以下相关消息:

gdb 回溯:

当我运行 R 脚本时,strace我在崩溃点得到以下相关信息:

任何有关如何进行的建议表示赞赏。

非常感谢您的宝贵时间。

-乔治。

0 投票
0 回答
724 浏览

r - 使用R中的ff库读取txt文件

我有一个制表符分隔格式的大型数据集(1.1GB)。当我使用普通的 read.table 函数将此数据集读入程序 R 时:

它工作正常。但是,我希望使用 ff 库中的 ff 函数来阅读它,所以我使用以下代码:

加载 ff 包没有问题,并且该功能工作正常。抛出的错误是:

Error in read.table(header = FALSE, sep = "\t", file = 3L, fileEncoding = "", : more columns than column names

为什么是这样?