13

我正在对数据框进行分区split()，以便用于parLapply()并行调用每个分区上的函数。数据框有 130 万行和 20 列。我按两列拆分/分区，都是字符类型。看起来有 ~47K 唯一 ID 和 ~12K 唯一代码，但并非每一对 ID 和代码都匹配。得到的分区数约为 250K。这是split()行：

 system.time(pop_part <- split(pop, list(pop$ID, pop$code)))

然后将分区输入parLapply()如下：

cl <- makeCluster(detectCores())
system.time(par_pop <- parLapply(cl, pop_part, func))
stopCluster(cl)

我已经让split()代码单独运行了将近一个小时，但它没有完成。我可以仅按 ID 进行拆分，这需要大约 10 分钟。此外，R studio 和工作线程正在消耗约 6GB 的 RAM。

我知道分区数的原因是我在 Pentaho 数据集成 (PDI) 中有等效的代码，它在 30 秒内运行（对于整个程序，而不仅仅是“拆分”代码）。我不希望 R 有这种类型的性能，但最坏的情况下可能会在 10 到 15 分钟内完成。

主要问题：有没有比拆分更好的选择？我也尝试ddply()过.parallel = TRUE，但它也运行了一个多小时并且从未完成。

4

2 回答 2

13

将索引拆分为pop

idx <- split(seq_len(nrow(pop)), list(pop$ID, pop$code))

拆分并不慢，例如，

> system.time(split(seq_len(1300000), sample(250000, 1300000, TRUE)))
   user  system elapsed 
  1.056   0.000   1.058

所以如果你是我猜你的数据的某些方面会减慢速度，例如，ID它们code都是具有多个级别的因素，因此它们的完整交互，而不是出现在数据集中的级别组合，是计算出来的

> length(split(1:10, list(factor(1:10), factor(10:1))))
[1] 100
> length(split(1:10, paste(letters[1:10], letters[1:10], sep="-")))
[1] 10

或者您的内存不足。

使用mclapply而不是parLapply在非 Windows 机器上使用进程（我猜是因为你要求的情况detectCores()）。

par_pop <- mclapply(idx, function(i, pop, fun) fun(pop[i,]), pop, func)

从概念上讲，这听起来像是您真正的目标是pvec（在处理器上分配矢量化计算）而不是mclapply（迭代数据框中的各个行）。

此外，实际上作为第一步，考虑识别瓶颈func；数据很大但不是那么大，所以也许不需要并行评估——也许你写的是 PDI 代码而不是 R 代码？注意数据框中的数据类型，例如因子与字符。在编写不佳和高效的 R 代码之间获得 100 倍的加速并不罕见，而并行评估最多与内核数量成正比。

于 2013-09-26T20:52:28.210 回答
4

如果 x 是一个因子并且 f 包含许多不同的元素，则 Split(x,f) 很慢

所以，这个代码如果很快：

system.time(split(seq_len(1300000), sample(250000, 1300000, TRUE)))

但是，这非常慢：

system.time(split(factor(seq_len(1300000)), sample(250000, 1300000, TRUE)))

这又快了，因为只有 25 个组

system.time(split(factor(seq_len(1300000)), sample(25, 1300000, TRUE)))
于 2017-02-15T15:51:03.630 回答