3

我有一些数据涉及重复销售一堆具有唯一 ID 的汽车。一辆车可以卖不止一次。

但是，有些 Id 是错误的，所以我正在检查每个 Id 的大小是否在多次销售中记录为相同。如果不是，那么我知道 Id 是错误的。

我正在尝试使用以下代码执行此操作：

library("doMC")

Data <- data.frame(ID=c(15432,67325,34623,15432,67325,34623),Size=c("Big","Med","Small","Big","Med","Big"))
compare <- function(v) all(sapply( as.list(v[-1]), FUN=function(z) {isTRUE(all.equal(z, v[1]))}))

IsGoodId = function(Id){
  Sub = Data[Data$ID==Id,]
  if (length(Sub[,1]) > 1){
    return(compare(Sub[,"Size"]))
  }else{
    return(TRUE)
  }
}

WhichAreGood = mclapply(unique(Data$ID),IsGoodId)

但在我的四核 i5 上，它的速度非常缓慢、非常缓慢。

谁能看出瓶颈在哪里？我是 R 优化的新手。

谢谢，-N

4

1 回答 1

4

看起来您的算法进行了 N^2 比较。也许像下面这样的东西会更好地扩展。我们发现重复的销售，认为这只是总数的一小部分。

dups = unique(Data$ID[duplicated(Data$ID)])
DupData = Data[Data$ID %in% dups,,drop=FALSE]

运算符的%in%扩展性非常好。然后根据 id 拆分 size 列，检查 id 是否有多个 size

tapply(DupData$Size, DupData$ID, function(x) length(unique(x)) != 1)

这给出了一个命名的逻辑向量，TRUE 表示每个 id 有多个大小。这与重复销售的数量大致呈线性关系；有一些聪明的方法可以让它快速运行，所以如果你的重复数据本身很大......

嗯，想多了，我猜

u = unique(Data)
u$ID[duplicated(u$ID)]

成功了。

于 2013-03-28T19:51:53.187 回答