我有data.table11 个变量和 200,000 多行。我试图在这个unique identifier中找到（换句话说，key）data.table。
我在 Stata 中寻找类似isid的东西，它检查指定的变量是否唯一标识观察结果。有人可以帮忙吗？
问问题
2658 次
2 回答
3
data.table我认为您对关于s 和s的几点感到困惑key。
- 除非您明确设置，否则A
data.table将没有密钥。 data.table密钥不必是唯一的。
您可以编写一个函数来检查某些列是否可以为数据集创建唯一标识符。
我在这里使用unique了 data.table，并注意在 data.table 的无键副本上使用。
这效率不高。
isid <- function(columns, data, verbose = TRUE){
if(!is.data.table(data)){
copyd <- data.table(data)
} else{
copyd <- copy(data)
}
if(haskey(copyd)){
setkey(copyd, NULL)
}
# NA values don't work in keys for data.tables
any.NA <- Filter(columns, f= function(x) any(is.na(copyd[[x]])))
if(verbose){
for(aa in seq_along(any.NA)){message(sprintf('Column %s contains NA values', any.NA[aa] ))}
}
validCols <- setdiff(columns, any.NA)
# cycle through columns 1 at a time
ncol <- 1L
validKey <- FALSE
while(!isTRUE(validKey) && ncol <= length(validCols)){
anyValid <- combn(x = validCols, m = ncol, FUN = function(xn){
subd <- copyd[, ..xn]
result <- nrow(subd) == nrow(unique(subd))
list(cols = xn, valid = result)
}, simplify = FALSE)
whichValid <- sapply(anyValid, `[[`, 'valid')
validKey <- any(whichValid)
ncol <- ncol + 1L
}
if(!validKey){
warning('No combinations are unique')
return(NULL)} else {
valid.combinations <- lapply(anyValid, `[[`, 'cols')[whichValid]
if(length(valid.combinations) > 1){
warning('More than one combination valid, returning the first only')
}
return(valid.combinations[[1]])
}
}
一些使用中的例子
oneU <- data.table(a = c(2,1,2,2), b = c(1,2,3,4))
twoU <- data.table(a = 1:4, b = letters[1:4])
bothU <- data.table(a = letters[1:2], b = rep(letters[1:2], each = 2))
someNA <- data.table(a = c(1,2,3,NA), b = 1:4)
isid(names(oneU), oneU)
# [1] "b"
isid(names(twoU), twoU)
# [1] "a"
# Warning message:
# In isid(names(twoU), twoU) :
# More than one combination valid, returning the first only
isid(names(bothU), bothU)
# [1] "a" "b"
isid(names(someNA), someNA)
# Column a contains NA values
# [1] "b"
# examples with no valid identifiers
isid('a', someNA)
## Column a contains NA values
## NULL
## Warning message:
## In isid("a", someNA) : No combinations are unique
isid('a', oneU)
## NULL
## Warning message:
## In isid("a", oneU) : No combinations are unique
于 2013-04-16T23:16:47.797 回答
3
这并不能完全回答 OP 问题 [我还没有使用过data.table]，但它只会帮助R用户回答 OP 的问题。我的重点将是解释isid实际是如何工作的Stata。我使用R数据库中的数据（您需要optmatch为此数据安装）。
library(optmatch)
data(nuclearplants)
sample<-nuclearplants
我只关注数据框的子集，因为我的目标是只解释isid正在做什么：
sample<-sample[,c(1,2,5,10)]
head(sample,5)
cost date cap cum.n
H 460.05 68.58 687 14
I 452.99 67.33 1065 1
A 443.22 67.33 1065 1
J 652.32 68.00 1065 12
B 642.23 68.00 1065 12
现在，当我使用该Stata命令时isid cost，它不显示任何内容，这意味着对成本没有重复的观察（R该命令是unique(sample$cost)或sample[duplicated(sample),]
[1] cost date cap cum.n
<0 rows> (or 0-length row.names).)
但是，当我们isid date在日期变量上使用 ie 时，Stata报告它不是唯一的。或者，如果您运行duplicates date examples,Stata会给您重复的观察结果，如下所示：
. duplicates example date
Duplicates in terms of date
+-------------------------------+
| group: # e.g. obs date |
|-------------------------------|
| 1 2 27 67.25 |
| 2 2 2 67.33 |
| 3 3 29 67.83 |
| 4 2 4 68 |
| 5 5 8 68.42 |
|-------------------------------|
| 6 2 1 68.58 |
| 7 2 12 68.75 |
| 8 3 14 68.92 |
+-------------------------------+
为了解释输出，它是说观察 67.25 有两个重复观察（如 所示#）。第一个观察对应于第 27 行（它没有用 67.25 标识第二个重复的行号）。Group给出每次重复的唯一标识符.
R command for the same is duplicated(sample$date).
duplicated(sample$date)
[1] FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE TRUE FALSE TRUE FALSE TRUE FALSE TRUE TRUE FALSE TRUE FALSE TRUE TRUE
[22] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRUE
To identify the unique observation we can also use unique(sample$date) in R.
我们可以对两个变量做同样的事情isid cost date。同样，Stata不能识别跨两个变量的重复观察。使用unique(sample[,c(1,2)]in时也是如此R。
同样，如果我isid在所有四个变量上运行然后Stata说它是唯一的（没有警告）。
duplicates example cost date cap cum_n
Duplicates in terms of cost date cap cum_n
(0 observations are duplicates)
与unique(sample)in相同R。
结论：因此，我认为只要一个变量是唯一的（即它没有重复的观察值），包含唯一变量的变量组合应该始终是唯一的。如果我错了，请纠正我。
于 2013-04-16T23:48:49.373 回答