18

我试图在 R 中找到惯用的方法，用某个索引向量对数字向量进行分区，找到该分区中所有数字的总和，然后将每个单独的条目除以该分区总和。换句话说，如果我从这个开始： 

df <- data.frame(x = c(1,2,3,4,5,6), index = c('a', 'a', 'b', 'b', 'c', 'c'))

我希望输出创建一个向量（我们称之为 z）：

c(1/(1+2), 2/(1+2), 3/(3+4), 3/(3+4), 5/(5+6), 6/(5+6))

如果我这样做是 SQL 并且可以使用窗口函数，我会这样做：

select 
 x / sum(x) over (partition by index) as z 
from df

如果我使用 plyr，我会做这样的事情：

ddply(df, .(index), transform, z = x / sum(x))

但我想知道如何使用标准的 R 函数式编程工具（如 mapply/aggregate 等）来做到这一点。

4

3 回答 3

26

还有一个选择是ave. 为了更好地衡量，我收集了上面的答案，尽力使它们的输出等效（向量），并使用您的示例数据作为输入提供了超过 1000 次运行的时间。首先，我的回答使用ave: ave(df$x, df$index, FUN = function(z) z/sum(z))。我还展示了一个使用data.table包的示例，因为它通常很快，但我知道您正在寻找基本解决方案，因此如果您愿意，可以忽略它。

现在是一堆时间：

library(data.table)
library(plyr)
dt <- data.table(df)

plyr <- function() ddply(df, .(index), transform, z = x / sum(x))
av <- function() ave(df$x, df$index, FUN = function(z) z/sum(z))
t.apply <- function() unlist(tapply(df$x, df$index, function(x) x/sum(x)))
l.apply <- function() unlist(lapply(split(df$x, df$index), function(x){x/sum(x)}))
b.y <- function() unlist(by(df$x, df$index, function(x){x/sum(x)}))
agg <- function() aggregate(df$x, list(df$index), function(x){x/sum(x)})
d.t <- function() dt[, x/sum(x), by = index]

library(rbenchmark)
benchmark(plyr(), av(), t.apply(), l.apply(), b.y(), agg(), d.t(), 
           replications = 1000, 
           columns = c("test", "elapsed", "relative"),
           order = "elapsed")
#-----

       test elapsed  relative
4 l.apply()   0.052  1.000000
2      av()   0.168  3.230769
3 t.apply()   0.257  4.942308
5     b.y()   0.694 13.346154
6     agg()   1.020 19.615385
7     d.t()   2.380 45.769231
1    plyr()   5.119 98.442308

在lapply()这种情况下，解决方案似乎赢了，而且data.table()速度出奇的慢。让我们看看这如何扩展到更大的聚合问题：

df <- data.frame(x = sample(1:100, 1e5, TRUE), index = gl(1000, 100))
dt <- data.table(df)

#Replication code omitted for brevity, used 100 replications and dropped plyr() since I know it 
#will be slow by comparison:
       test elapsed  relative
6     d.t()   2.052  1.000000
1      av()   2.401  1.170078
3 l.apply()   4.660  2.270955
2 t.apply()   9.500  4.629630
4     b.y()  16.329  7.957602
5     agg()  20.541 10.010234

这似乎更符合我的预期。

总之，您有很多不错的选择。找到一种或两种适用于聚合任务应该如何工作的心智模型的方法，并掌握该功能。给猫剥皮的多种方法。

编辑 - 和一个 1e7 行的例子

可能对马特来说不够大，但我的笔记本电脑可以处理而不会崩溃：

df <- data.frame(x = sample(1:100, 1e7, TRUE), index = gl(10000, 1000))
dt <- data.table(df)
#-----
       test elapsed  relative
6     d.t()    0.61  1.000000
1      av()    1.45  2.377049
3 l.apply()    4.61  7.557377
2 t.apply()    8.80 14.426230
4     b.y()    8.92 14.622951
5     agg()   18.20 29.83606
于 2012-05-25T04:28:30.167 回答
8

还有其他三种方法：

dat <- 1:6
lev <- rep(1:3, each = 2)

lapply(split(dat, lev), function(x){x/sum(x)})
by(dat, lev, function(x){x/sum(x)})
aggregate(dat, list(lev), function(x){x/sum(x)})
于 2012-05-25T04:22:15.227 回答
8

如果您只对单个向量进行操作并且只需要一个索引向量，那么 tapply 非常快

dat <- 1:6
lev <- rep(1:3, each = 2)
tapply(dat, lev, function(x){x/sum(x)})
#$`1`
#[1] 0.3333333 0.6666667
#
#$`2`
#[1] 0.4285714 0.5714286
#
#$`3`
#[1] 0.4545455 0.5454545
#
unlist(tapply(dat, lev, function(x){x/sum(x)}))
#       11        12        21        22        31        32 
#0.3333333 0.6666667 0.4285714 0.5714286 0.4545455 0.5454545
于 2012-05-25T04:00:58.673 回答