r - “循环”data.table 以计算条件平均值

Question

我想“遍历” data.table 的行并计算每行的平均值。平均值应根据以下机制计算：

在第 i 行查找标识符 ID (ID(i))
在第 i 行查找 T2 的值 (T2(i))
计算满足这两个标准Data1的所有行中的值的平均值：和jID(j) = ID(i)T1(j) = T2(i)

在第 i 行的 Data2 列中输入计算的平均值

 DF = data.frame(ID=rep(c("a","b"),each=6), 
             T1=rep(1:2,each=3), T2=c(1,2,3), Data1=c(1:12))
 DT = data.table(DF)
 DT[ , Data2:=NA_real_]
     ID T1 T2  Data1 Data2
[1,]  a  1  1     1    NA
[2,]  a  1  2     2    NA
[3,]  a  1  3     3    NA
[4,]  a  2  1     4    NA
[5,]  a  2  2     5    NA
[6,]  a  2  3     6    NA
[7,]  b  1  1     7    NA
[8,]  b  1  2     8    NA
[9,]  b  1  3     9    NA
[10,] b  2  1    10    NA
[11,] b  2  2    11    NA
[12,] b  2  3    12    NA

对于这个简单的示例，结果应如下所示：

      ID T1 T2  Data1 Data2
[1,]  a  1  1     1    2
[2,]  a  1  2     2    5
[3,]  a  1  3     3    NA
[4,]  a  2  1     4    2
[5,]  a  2  2     5    5
[6,]  a  2  3     6    NA
[7,]  b  1  1     7    8
[8,]  b  1  2     8    11
[9,]  b  1  3     9    NA
[10,] b  2  1    10    8
[11,] b  2  2    11    11
[12,] b  2  3    12    NA

我认为这样做的一种方法是遍历行，但我认为这是低效的。我已经查看了该apply()功能，但我确定它是否可以解决我的问题。如果这会使它更有效或更容易，我也可以使用data.frame而不是。data.table真实数据集包含大约 100 万行。

score 11 · Accepted Answer

经验法则是先聚合，然后加入。

agg = DT[,mean(Data1),by=list(ID,T1)]
setkey(agg,ID,T1)
DT[,Data2:={JT=J(ID,T2);agg[JT,V1][[3]]}]
      ID T1 T2 Data1 Data2
 [1,]  a  1  1     1     2
 [2,]  a  1  2     2     5
 [3,]  a  1  3     3    NA
 [4,]  a  2  1     4     2
 [5,]  a  2  2     5     5
 [6,]  a  2  3     6    NA
 [7,]  b  1  1     7     8
 [8,]  b  1  2     8    11
 [9,]  b  1  3     9    NA
[10,]  b  2  1    10     8
[11,]  b  2  2    11    11
[12,]  b  2  3    12    NA

如您所见，在这种情况下它有点难看（但会很快）。计划添加drop将避免该[[3]]位的位，也许我们可以提供一种方法来告诉在调用范围内[.data.table进行评估i（即没有自联接），这将避免JT=此处需要的位，因为ID两者都在agg和DT中。

keyby已添加到 R-Forge 上的 v1.8.0 中，因此setkey也不需要 .

score 2 · Accepted Answer

对行进行迭代的更快的替代方案是采用矢量化的解决方案。

R> d <- data.frame(ID=rep(c("a","b"),each=6), T1=rep(1:2,each=3), T2=c(1,2,3), Data1=c(1:12)) 
R> d
   ID T1 T2 Data1
1   a  1  1     1
2   a  1  2     2
3   a  1  3     3
4   a  2  1     4
5   a  2  2     5
6   a  2  3     6
7   b  1  1     7
8   b  1  2     8
9   b  1  3     9
10  b  2  1    10
11  b  2  2    11
12  b  2  3    12

R> rowfunction <- function(i) with(d, mean(Data1[which(T1==T2[i] & ID==ID[i])]))
R> d$Data2 <- sapply(1:nrow(d), rowfunction)
R> d
   ID T1 T2 Data1 Data2
1   a  1  1     1     2
2   a  1  2     2     5
3   a  1  3     3   NaN
4   a  2  1     4     2
5   a  2  2     5     5
6   a  2  3     6   NaN
7   b  1  1     7     8
8   b  1  2     8    11
9   b  1  3     9   NaN
10  b  2  1    10     8
11  b  2  2    11    11
12  b  2  3    12   NaN

此外，如果您要从 SQL 服务器检索数据，我更愿意在将数据导入 Rie之前对其进行预处理，让服务器计算平均值可能是一个更好的选择，因为它很可能会做得更好这。

R 实际上并不擅长数字运算，原因有几个。但是在对已经预处理的数据进行统计时非常好。

score 1 · Accepted Answer

使用 tapply 和最近另一篇文章的一部分：

DF = data.frame(ID=rep(c("a","b"),each=6), T1=rep(1:2,each=3), T2=c(1,2,3), Data1=c(1:12))

编辑：实际上，大多数原始功能都是多余的，并且是为其他目的而设计的。在这里，简化：

ansMat <- tapply(DF$Data1, DF[, c("ID", "T1")], mean)

i <- cbind(match(DF$ID, rownames(ansMat)), match(DF$T2, colnames(ansMat)))

DF<-cbind(DF,Data2 = ansMat[i])


# ansMat<-tapply(seq_len(nrow(DF)), DF[, c("ID", "T1")], function(x) {
#   curSub <- DF[x, ]
#   myIndex <- which(DF$T2 == curSub$T1 & DF$ID == curSub$ID)
#   meanData1 <- mean(curSub$Data1)
#   return(meanData1 = meanData1)
# })

诀窍是在 ID 和 T1 上而不是 ID 和 T2 上做 tapply。有更快的吗？

r - “循环”data.table 以计算条件平均值

3 回答 3

Related

Reference