15

我想在我的 data.table 中添加一个新列。此列应包含满足特定条件的所有行的另一列的总和。一个例子：我的 data.table 看起来像这样：

require(data.table)
DT <- data.table(n=c("a", "a", "a", "a", "a", "a", "b", "b", "b"),
             t=c(10, 20, 33, 40, 50, 22, 25, 34, 11),
             v=c(20, 15, 16, 17, 11, 12, 20, 22, 10)
             )
DT
   n  t  v
1: a 10 20
2: a 20 15
3: a 33 16
4: a 40 17
5: a 50 11
6: a 22 12
7: b 25 20
8: b 34 22
9: b 11 10

对于每一行 x 和每一行 i，其中 abs(t[i] - t[x]) <= 10，我想计算

foo = sum( v[i] * abs(t[i] - t[x]) )

在 SQL 中，我会使用自连接来解决这个问题。在 RI 中，使用 for 循环能够做到这一点：

for (i in 1:nrow(DT))
    DT[i, foo:=DT[n==DT[i]$n & abs(t-DT[i]$t)<=10, sum(v * abs(t-DT[i]$t) )]]

DT
   n  t  v foo
1: a 10 20 150
2: a 20 15 224
3: a 33 16 119
4: a 40 17 222
5: a 50 11 170
6: a 22 12  30
7: b 25 20 198
8: b 34 22 180
9: b 11 10   0

不幸的是，我必须经常这样做，而且我使用的桌子更大。for 循环方法有效，但速度太慢。我玩弄了 sqldf 包，没有真正的突破。我很想使用一些 data.table 魔法来做到这一点，我需要你的帮助:-)。我认为需要的是某种自连接，条件是 t 值的差异小于阈值。

跟进： 我有一个跟进问题：在我的应用程序中，这个加入被一遍又一遍地完成。v 发生了变化，但 t 和 n 始终相同。所以我正在考虑以某种方式存储哪些行属于一起。任何想法如何以聪明的方式做到这一点？

4

2 回答 2

12

好问题。这个答案只是里卡多答案的试吃者。

理想情况下，我们希望避免大的笛卡尔自连接以提高效率。不幸的是，范围连接（FR#203）尚未实现。同时，使用最新的 v1.8.7（未经测试）：

setkey(DT,n,t)
DT[,from:=DT[.(n,t-10),which=TRUE,roll=-Inf,rollends=TRUE]]
DT[,to:=DT[.(n,t+10),which=TRUE,roll=+Inf,rollends=TRUE]]
DT[,foo:=0L]
for (i in 1:nrow(DT)) {
    s = seq.int(DT$from[i],DT$to[i])
    set(DT, i, "foo", DT[,sum(v[s]*abs(t[s]-t[i]))] )
}

一旦 FR#203 完成，上面的逻辑就会被内置，它应该变成一个单行：

setkey(DT,n,t)
DT[.(n,.(t-10,t+10),t), foo:=sum(v*abs(t-i.t))]

表的第二列i有一个 2 列的列（表示一个between join）。这应该很快，因为像往常一样，j将对每一行进行评估，i而无需创建一个巨大的笛卡尔自连接表。

无论如何，这就是当前的想法。

于 2013-02-20T16:53:26.617 回答
6

尝试以下操作：

unique(merge(DT, DT, by="n")[abs(t.x - t.y) <= 10, list(n, sum(v.x * abs(t.x - t.y))), by=list(t.x, v.x)])

上述行的细分：

您可以将一个表与其自身合并，输出也将是一个 data.table。请注意，列名将被赋予一个后缀.x和.y

merge(DT, DT, by="n")

...您可以像使用任何 DT 一样过滤和计算

# this will give you your desired rows
[abs(t.x - t.y), ]

# this is the expression you outlined
[ ... , sum(v.x * abs(t.x - t.y)) ]

# summing by t.x and v.x
[ ... , ... , by=list(t.x, v.x)]) ]

然后最后将其全部包装unique以删除任何重复的行。

更新：下面的行与您的输出相匹配。这个和这个答案顶部的唯一区别是这个词v.y在sum(v.y * ...)然而by声明中仍然使用v.x。这是故意的吗？

unique(merge(DT, DT, by="n")[abs(t.x - t.y) <= 10, list(n, sum(v.y * abs(t.x - t.y))), by=list(t.x, v.x)])
于 2013-02-20T16:25:29.617 回答