为了有效地并行执行这些计算,您需要使用分块,因为单独的平均计算不会花费太多时间。使用时foreach
,我经常使用itertools
包中的函数进行分块。在这种情况下,我使用该isplitVector
函数为每个工作人员生成一个任务。结果是向量,因此只需将它们相加即可将它们组合在一起,这就是r
向量必须初始化为零向量的原因。
vadd <- function(a, ...) {
for (v in list(...))
a <- a + v
a
}
res <- foreach(ids=isplitVector(unique(td$id), chunks=workers),
.combine='vadd',
.multicombine=TRUE,
.inorder=FALSE) %dopar% {
r <- rep(0, NROW(td))
for (i in ids)
r[td$id == i] <- mean(td$val[td$id != i])
r
}
这是将原始顺序版本置于foreach
循环中的经典示例,但仅对数据的子集进行操作。由于每个工作人员只有一个结果要组合,因此后处理很少,因此运行效率很高。
为了了解它的表现,我使用以下数据集将其与顺序版本和 Rolands 的数据表版本进行了基准测试:
set.seed(107)
n <- 1000000
m <- 10000
td <- data.frame(val=rnorm(n), id=sample(m, n, replace=TRUE))
我包括这个是因为性能非常依赖数据。您甚至可以通过使用不同的随机种子获得不同的性能结果。
以下是我使用 Xeon CPU X5650 和 12 GB RAM 的 Linux 机器的一些基准测试结果:
所以对于至少一个数据集,并行执行这个计算是值得的。这不是一个完美的加速,但也不算太糟糕。为了在您自己的机器上或使用不同的数据集运行这些基准测试中的任何一个,您可以通过上面的链接从 pastebin 下载它们。
更新
在完成这些基准测试后,我对使用data.table
withforeach
获得更快的版本很感兴趣。这就是我想出的(来自 Matthew Dowle 的建议):
cmean <- function(v, mine) if (mine) mean(v) else 0
nuniq <- length(unique(td$id))
res <- foreach(grps=isplitIndices(nuniq, chunks=workers),
.combine='vadd',
.multicombine=TRUE,
.inorder=FALSE,
.packages='data.table') %dopar% {
td[, means := cmean(td$val[-.I], .GRP %in% grps), by=id]
td$means
}
td
现在是一个data.table
对象。我isplitIndices
从itertools
包中使用来生成与每个任务块相关联的组号向量。该cmean
函数是一个包装器,mean
它为不应在该任务块中计算的组返回零。由于任务结果相同,它使用与非数据表版本相同的组合功能。
这个版本有四个工人和相同的数据集,运行时间为 56.4 秒,与顺序数据表版本相比加速了 3.7 倍,比顺序 for 循环快 6.4 倍,从而成为明显的赢家。可以从此处的 pastebin 下载基准测试。