我在使用 data.table 包时遇到了一些问题。我正在使用这个包,因为它在内存方面似乎非常快速和高效,并且它将处理一个非常大的数据集(~ 6m x 300)。
所以,基本上我遇到的问题的一个例子是:
AA <- matrix(runif(50,0,100), 10,5)
AA <- data.table(AA)
colnames(AA) <- c("one","two","three","four","five")
AA[,"key"] <- c(1:10)
setkey(AA,key)
BB <- matrix(c("A1","A1","B1","A1","C1","F1","T1","Y1","S1","S1","B2","C2","V2","G2","R2","U2","P2","Q2","A2","R2"),10,2)
BB <- data.table(BB)
BB[,"key"] <- c(1:10)
setkey(BB,key)
CC <- AA[BB]
这给出了以下
> CC
key one two three four five V1 V2
[1,] 1 70.528360 7.901987 66.827238 44.51487 26.22273 A1 B2
[2,] 2 38.560889 31.808611 7.877950 34.51093 51.27989 A1 C2
[3,] 3 70.164154 16.636281 59.127573 79.95673 19.07643 B1 V2
[4,] 4 82.019267 86.958215 3.335632 44.19048 46.29047 A1 G2
[5,] 5 24.980403 25.352212 78.240760 93.69818 46.64401 C1 R2
[6,] 6 1.062644 30.214449 15.920193 35.15496 97.86995 F1 U2
[7,] 7 5.242374 47.591899 56.879902 70.05319 82.48689 T1 P2
[8,] 8 69.646271 69.576102 38.766948 38.62866 74.69404 Y1 Q2
[9,] 9 25.335255 54.638416 5.777238 80.87692 34.11951 S1 A2
[10,] 10 54.844424 18.645826 59.370042 48.24352 84.02630 S1 R2
我要做的是按 V1 和 V2 聚合数据
> CC[,length(one), by=V1]
V1 V1.1
[1,] A1 3
[2,] B1 1
[3,] C1 1
[4,] F1 1
[5,] T1 1
[6,] Y1 1
[7,] S1 2
> CC[,length(one), by=V2]
V2 V1
[1,] B2 1
[2,] C2 1
[3,] V2 1
[4,] G2 1
[5,] R2 2
[6,] U2 1
[7,] P2 1
[8,] Q2 1
[9,] A2 1
我遇到的问题是,如果我不明确知道要聚合的列的名称,或者如果我想循环通过 100 列得到 100 个不同的聚合,我该怎么做?
data.table 参考手册说这是因为变量是在数据表的范围内引用的,所以它的工作方式是这样的,所以 CC[, V1] 将给出一列,而 CC[, "V1"] 不会。它说你可以使用类似的东西
x <- quote(V1)
CC[,length(one), by=eval(x)]
但这似乎不起作用,我尝试了一些方法,例如在向量中设置变量名以及 quote()、noquote()、enquote() 的各种组合,但我似乎无法弄清楚如果它是可能的。
如何将其设置为循环遍历每个列名聚合的列名列表?
如果没有,有没有更好的方法来快速聚合这样的大型数据集?
谢谢。