3

我有一个由不同个体组成的数据集，其中每个个体都有一个唯一的 ID。每个人都可以在数据集中出现多次，但据我了解，除了一个或两个变量不同（每个人大约有 80 个）之外，数据集中相同用户 ID 的每个条目的值应该相同。

如果可以的话，我想尝试折叠数据。我的主要障碍是我需要回填的某些空值。我正在寻找一个可以完成重复数据删除的函数，如下所示：

# Build sample dataset
df1 = data.frame(id=rep(1:6,2)                 
                ,classA=rep(c('a','b'),6)
                ,classB=rep(c(1001:1006),2)
                )
df1= df1[order(df1$id),]
df1$classC=c('a',NA,'b',NA,NA,NA,'e','d', NA, 'f', NA, NA)
df1[10,"classB"]=NA
df1=df1[df1$id!=6,]

#sample dataset
> df1
   id classA classB classC
1   1      a   1001      a
7   1      a   1001   <NA>
2   2      b   1002      b
8   2      b   1002   <NA>
3   3      a   1003   <NA>
9   3      a   1003   <NA>
4   4      b   1004      e
10  4      b   1004      d
5   5      a   1005   <NA>
11  5      a     NA      f        

# what I'm looking for
> deduplicate(df1, on='id')
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      d
5  4      b   1004      e
6  5      a   1005      f
4

2 回答 2

3

这个怎么样？（解决方案使用data.table）

require(data.table)
DT <- data.table(df1)
# ignore the warning here...
unique(DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id])

   id classA classB classC
1:  1      a   1001      a
2:  2      b   1002      b
3:  3      a   1003     NA
4:  4      b   1004      e
5:  4      b   1004      d
6:  5      a   1005      f

一些解释：

  • 该部分将您的by = iddata.table 拆分/分组。DTid
  • .SD是一个只读变量，它一次自动为每个分组/组提取每个分组/组id。
  • 因此，我们DT按分割id，对于每个分割部分，使用lapply（取每一列）并删除所有NAs。现在，如果您说a, NA，那么，将NA被删除并返回a。但输入的长度为 2 ( a, NA)。因此，它会自动回收 a以适应大小 (=2)。所以，基本上我们用一些已经存在的值替换所有的 NA。当两者都是NA（如NA, NA）时，NA返回 s（再次通过回收）。
  • 如果你看这部分DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id]，你应该能够理解已经做了什么。每一个NA都会被替换。所以，我们需要做的就是拾取unique行。这就是为什么它用unique.

希望这可以帮助。您必须进行一些实验才能更好地理解。我建议从这里开始：DT[, print(.SD), by=id]

最终解决方案：

我刚刚意识到，如果您有例如id=4另一行classC = NA（其他一切都相同），则上述解决方案将不起作用。这是由于回收问题。这段代码应该修复它。

unique(DT[, lapply(.SD, function(x) {x[is.na(x)] <- x[!is.na(x)][1]; x}), by = id])
于 2013-06-24T09:25:33.490 回答
1

我会，首先检查是否有行重复的id和缺少 classC并像这样删除它们：

dd <- df1[duplicated(df1[,1]) & is.na(df1$classC), ]
df1[setdiff(rownames(df1), rownames(dd)), ]
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      e
8  4      b   1004      d

编辑

我认为将上述内容概括为许多列，一个想法是将您的数据以长格式melt放置，例如：

library(reshape2)
dat.m  <- melt(df1,id.vars='id')
dd <- dat.m[order(dat.m$id),]
rr <- dd[duplicated(dd$id) & is.na(dd$value),]
kk <- dd[setdiff(rownames(dd), rownames(rr)), ]
kk <- kk[!duplicated(kk),]
dcast(kk,id~variable,drop=FALSE,fun.aggregate=list,fill=list(NA))
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003     NA
4  4      b   1004   e, d
5  5      a   1005      f

最终结果与您想要的输出略有不同，但您可以通过一些工作来获得它（例如 strsplit）。

于 2013-06-24T00:39:09.493 回答