7

该函数是否会by创建一个一次增长一个元素的列表？

我需要处理一个数据框，其中包含按因子列分组的大约 4M 观察值。情况类似于下面的例子：

> # Make 4M rows of data
> x = data.frame(col1=1:4000000, col2=10000001:14000000)
> # Make a factor
> x[,"f"] = x[,"col1"] - x[,"col1"] %% 5
>   
> head(x)
  col1     col2 f
1    1 10000001 0
2    2 10000002 0
3    3 10000003 0
4    4 10000004 0
5    5 10000005 5
6    6 10000006 5

现在，tapply其中一个列上的 a 需要合理的时间：

> t1 = Sys.time()
> z = tapply(x[, 1], x[, "f"], mean)
> Sys.time() - t1
Time difference of 22.14491 secs

但如果我这样做：

z = by(x[, 1], x[, "f"], mean)

这不会在同一时间完成（我在一分钟后放弃了）。

当然，在上面的例子中，tapply可以使用，但我实际上需要将多个列一起处理。这样做的更好方法是什么？

4

2 回答 2

4

by比tapply因为它是 wrapping慢by。让我们看一些基准测试：tapply在这种情况下，比使用快 3 倍以上by

更新包括@Roland的推荐：

library(rbenchmark)
library(data.table)
dt <- data.table(x,key="f")

using.tapply <- quote(tapply(x[, 1], x[, "f"], mean))
using.by <- quote(by(x[, 1], x[, "f"], mean))
using.dtable <- quote(dt[,mean(col1),by=key(dt)])

times <- benchmark(using.tapply, using.dtable, using.by, replications=10, order="relative")
times[,c("test", "elapsed", "relative")] 

#------------------------#
#         RESULTS        # 
#------------------------#

#       COMPARING tapply VS by     #
#-----------------------------------
#              test elapsed relative
#   1  using.tapply   2.453    1.000
#   2      using.by   8.889    3.624

#   COMPARING data.table VS tapply VS by   #
#------------------------------------------#
#             test elapsed relative
#   2  using.dtable   0.168    1.000
#   1  using.tapply   2.396   14.262
#   3      using.by   8.566   50.988

如果 x$f 是一个因素，那么 tapply 和 by 之间的效率损失就更大了！

虽然，请注意它们都相对于非因子输入有所改善，而 data.table 保持大致相同或更差

x[, "f"] <- as.factor(x[, "f"])
dt <- data.table(x,key="f")
times <- benchmark(using.tapply, using.dtable, using.by, replications=10, order="relative")
times[,c("test", "elapsed", "relative")] 

#               test elapsed relative
#   2   using.dtable   0.175    1.000
#   1   using.tapply   1.803   10.303
#   3       using.by   7.854   44.880


至于为什么，简短的答案在文档本身中。

?by：

描述

Function by 是一个面向对象的包装器，用于将 tapply 应用于数据帧。

让我们看一下by（或更具体地说，by.data.frame）的来源：

by.data.frame
function (data, INDICES, FUN, ..., simplify = TRUE) 
{
    if (!is.list(INDICES)) {
        IND <- vector("list", 1L)
        IND[[1L]] <- INDICES
        names(IND) <- deparse(substitute(INDICES))[1L]
    }
    else IND <- INDICES
    FUNx <- function(x) FUN(data[x, , drop = FALSE], ...)
    nd <- nrow(data)
    ans <- eval(substitute(tapply(seq_len(nd), IND, FUNx, simplify = simplify)), 
        data)
    attr(ans, "call") <- match.call()
    class(ans) <- "by"
    ans
}

我们立即看到仍然有一个调用tapply加上很多额外的（包括调用deparse(substitute(.))和eval(substitute(.))两者都相对较慢）。tapply因此，您将比类似的调用更快是有道理的by。

于 2012-12-04T16:16:01.380 回答
3

关于更好的方法：使用 4M 行，您应该使用data.table.

library(data.table)
dt <- data.table(x,key="f")
dt[,mean(col1),by=key(dt)]

dt[,list(mean1=mean(col1),mean2=mean(col2)),by=key(dt)]
dt[,lapply(.SD,mean),by=key(dt)]
于 2012-12-04T17:19:57.457 回答