3

我对 R，ffdfdply 函数有疑问

a=as.ffdf(data.frame(b=11:20,c=c(4,4,4,4,4,5,5,5,5,5), d=c(1,1,1,0,0,0,1,0,1,1)))

ffdfdply(a, split=a$c, FUN= function(x) {data.frame(cumsum(x$d))}, trace=T)

它生成的输出只是一个累积和，而不考虑拆分标准。

我需要这样的输出

c   cumsum
4    1
4    2
4    3
4    4
4    4
5    0
5    1
5    1
5    2
5    3

我们可以在“拆分”下包含多个列吗？如果有人也提供一个例子，那就太好了。

谢谢。

@jwijffels，我在其他数据集上测试您的解决方案

i=as.ffdf(data.frame(a=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2), b=c(1,4,6,2,5,3,1,4,3,2,8,7,1,3,5,4,2,6,3,1,2), c=c(1,1,1,1,1,1,2,2,2,2,1,1,1,1,1,1,1,1,2,2,2), d=c(1,0,1,1,0,1,0,1,1,0,0,1,1,1,0,0,1,1,1,1,0)))

我收到的输出不正确。我需要在 a 列和 c 列的基础上计算 d 列的累积总和。

以下步骤是正确的并给出了正确的结果

idx <- ffdforder(i[c("a","c","b")])
ordered_i <- i[idx, ]
ordered_i$key_a_c <- ikey(ordered_i[c("a", "c")])

但是当我尝试累积总和时，得到了不正确的结果。

cumsum_i <- ffdfdply(ordered_i, split=as.character(ordered_i$key_a_c), FUN= function(x) {
    ## Data in RAM, on which you can use data.table
    x <- as.data.table(x)
    result <- x[, cumsum_a_c := cumsum(x$d), by = list(key_a_c)]
    as.data.frame(result)
}, trace=T)

请帮忙。我需要在大数据上运行这些命令集。

4

2 回答 2

4

正确的用法是这样

require(ffbase)
require(data.table)
a=as.ffdf(data.frame(b=11:20,c=c(4,4,4,4,4,5,5,5,5,5), d=c(1,1,1,0,0,0,1,0,1,1)))
ffdfdply(a, split=as.character(a$c), FUN= function(x) {
  ## Data in RAM, on which you can use data.table
  x <- as.data.table(x)
  result <- x[, cumsum := cumsum(d), by = list(c)]
  as.data.frame(result)
  }, trace=T)

如果要拆分为 2 列，只需创建一个将两列合并的新列并将其用作拆分。请参阅?ikey创建该列

于 2013-07-22T10:45:46.727 回答
1

在这里阅读帮助会有所帮助，来自?ffdfdply

此函数实际上并不拆分数据。为了减少分割级别较多的情况下数据放入RAM的次数，该函数根据BATCHBYTES提取可放入RAM的分割元素组。

和....

请确保您的 FUN 涵盖这样一个事实，即多个拆分元素可以位于应用 FUN 的一大块数据中。

因此，根据我的阅读，您实际上需要一个拆分组合样式的函数，该函数也适用于您调用的函数中的组ffdfdply。像这样使用ave：

a$c <- with(a, as.integer(c))
ffdfdply(
    a,
    split=a$c,
    function(x) data.frame(c=x$c,cumsum=ave(x$d,x$c,FUN=cumsum)), 
    trace=T
)

结果：

   c cumsum
1  4      1
2  4      2
3  4      3
4  4      3
5  4      3
6  5      0
7  5      1
8  5      1
9  5      2
10 5      3
于 2013-07-22T10:33:51.150 回答