4

在 R 中工作，我有与下面类似结构的数据（代码块 1）。我希望创建一个具有以下特征的新 data.frame：

对于每个唯一的 ID_1 值，我想要两个新列，一个包含 (ID_2s that share ID_1 & Direction==1) 的列表，另一列包含 (ID_2s that share ID_1 & Direction==0 的列表), (见下一个代码块 2)

数据集块 1（初始）：

ID_1    ID_2    Direction
100001  1           1
100001  11          1
100001  111         1
100001  1111        0
100001  11111       0
100001  111111      0
100002  2           1
100002  22          1
100002  222         0
100002  2222        0
100003  3           1
100003  33          1
100003  333         1
100003  3333        0
100003  33333       0
100003  333333      1
100004  4           1
100004  44          1

转换成：

数据集块 2（所需输出）：

ID_1    ID_2_D1             ID_2_D0
100001  1,11,111            1111,11111,111111
100002  2,22                222,222
100003  3,33,333,333333     3333,33333
100004  4,44

我有执行此操作的代码（获取子集子集的循环），但是我在数百万个唯一的“ID_1”上运行它，这非常耗时（我告诉你几个小时！！）。

有什么建议——也许使用 apply() 或 plyr() 包可以让它运行得更快？

参考代码：

DF <- data.frame(ID_1=c(100001,100001,100001,100001,100001,100001,100002,100002,100002,100002,100003,100003,100003,100003,100003,100003,100004,100004)
                   ,ID_2=c(1,11,111,1111,11111,111111,2,22,222,2222,3,33,333,3333,33333,333333,4,44)
                   ,Direction=c(1,1,1,0,0,0,1,1,0,0,1,1,1,0,0,1,1,1)
                   )

我当前（太慢）的代码：

  DF2 <- data.frame( ID_1=DF[!duplicated(DF$ID_1),][,1])

  for (i in 1:length(unique(DF2$ID_1))){
    DF2$ID_2_D1[i] <- list(subset(DF,ID_1==unique(DF2$ID_1)[i] & Direction==1)$ID_2)
    DF2$ID_2_D0[i] <- list(subset(DF,ID_1==unique(DF2$ID_1)[i] & Direction==0)$ID_2)        
  }
4

3 回答 3

7

像这样：

library(reshape2)
dcast(DF, ID_1 ~ Direction, value.var = "ID_2", list)
#     ID_1                   0                  1
# 1 100001 1111, 11111, 111111         1, 11, 111
# 2 100002           222, 2222              2, 22
# 3 100003         3333, 33333 3, 33, 333, 333333
# 4 100004                                  4, 44
于 2013-03-09T01:22:00.483 回答
4

@flodel 的答案是迄今为止我能想到的最直接的答案，但这是使用aggregateand的基础 R 中的一个选项merge。它利用步骤中的“ subset”参数aggregate来获取“Direction == 0”和“Direction == 1”时的单独列。

temp1 <- aggregate(ID_2 ~ ., DF, as.vector, subset = c(Direction == 0))
temp2 <- aggregate(ID_2 ~ ., DF, as.vector, subset = c(Direction == 1))
merge(temp1[-2], temp2[-2], by = "ID_1", all = TRUE, suffixes=c("_0", "_1"))
#     ID_1              ID_2_0             ID_2_1
# 1 100001 1111, 11111, 111111         1, 11, 111
# 2 100002           222, 2222              2, 22
# 3 100003         3333, 33333 3, 33, 333, 333333
# 4 100004                NULL              4, 44

一种相关的方法（不确定它是否会更快）将split用于创建子集，lapply覆盖aggregate结果列表，并Reduce促进merge：

Reduce(function(x, y) 
  merge(x, y, by = "ID_1", all = TRUE, suffixes = c("_0", "_1")), 
       lapply(split(DF[1:2], DF$Direction), 
              function(x) aggregate(ID_2 ~ ID_1, x, as.vector)))

而且，当然，这是一种使用 的方法data.table，您可能需要考虑使用这种方法，因为您已经提到必须在*数百万个唯一的“ID_1”* 上工作。您不太可能从这个小示例中看到任何速度优势，但您应该使用实际数据。

library(data.table)
DT <- data.table(DF, key = "ID_1")
DT0 <- DT[Direction == 0, list(D0 = list(ID_2)), by = key(DT)]
DT1 <- DT[Direction == 1, list(D1 = list(ID_2)), by = key(DT)]
DT0[DT1]
#      ID_1                D0              D1
# 1: 100001 1111,11111,111111        1,11,111
# 2: 100002          222,2222            2,22
# 3: 100003        3333,33333 3,33,333,333333
# 4: 100004                              4,44

更新

正如@Arun 在 R Public 聊天室中提到的，这是一种简化的data.table方法，可以避免创建两个单独的对象并将它们合并。

DT[, list(list(D0 = ID_2[Direction==0]), list(D1 = ID_2[Direction == 1])), by=ID_1]
于 2013-03-09T03:33:18.257 回答
3

你当然可以在这里使用 apply 函数。我不确定你是否需要，（即你可以通过 subsetting 变得更快），但我想不出你现在会怎么做。你可以像这样实现你想要的：

# Direction = 1
d1 <- lapply( unique( DF$ID_1 ) , function(x){ subset( DF , ID_1== x & Direction == 1)$ID_2 } )
d1 <- sapply( d1 , function(x){ paste0( x , sep = "," , collapse = "" ) } )
# Direction = 0
d0 <- lapply( unique( DF$ID_1 ) , function(x){ subset( DF , ID_1== x & Direction == 0)$ID_2 } )
d0 <- sapply( d0 , function(x){ paste0( x , sep = "," , collapse = "" ) } )


# Results dataframe
resDF <- data.frame(ID_1 = unique(DF$ID_1), d1, d0)
resDF
              d1                 d0                  
[1,] "100001" "1,11,111,"        "1111,11111,111111,"
[2,] "100002" "2,22,"            "222,2222,"         
[3,] "100003" "3,33,333,333333," "3333,33333,"       
[4,] "100004" "4,44,"            ","

我很想知道这种方式是否/多快。

于 2013-03-09T01:16:54.017 回答