5

我有一个 R 代码，其中涉及多个 foreach 工作人员以并行执行一些任务。为此，我正在使用 foreach 和 doMC。我想让每个 foreach 工作人员招募一些新工作人员并将其代码的某些部分（可并行化）分发给他们。

当前代码如下所示：

require(doMC)
require(foreach)
registerDoMC(cores = 8)

foreach (i = (1:8)) %dopar% {
<<some code here>>
    for (j in c(1:4))  {
    <<some other code here>>
    }
}

我正在寻找一个理想的代码，如下所示：

require(doMC)
require(foreach)
registerDoMC(cores = 8)

foreach (i = (1:8)) %dopar% {
<<some code here>>
    foreach (j = (1:4)) %dopar% {
    <<some other code here>>
    }
}

我在这里看到了一个使用 doSNOW 和 doMC 的多范式并行示例(https://www.rmetrics.org/files/Meielisalp2009/Presentations/Lewis.pdf#page=17)。但是，我不知道它是否符合我的要求。

此外，似乎嵌套 foreach不适用，因为它需要合并两个循环（请参见此处），而在我的情况下，这不是首选；第二个循环只帮助第一个循环的一部分代码。如果我错了，请纠正我。

谢谢。

4

1 回答 1

7

在 foreach 循环内有一个 foreach 循环没有特别的问题。这是 doSNOW 循环中的 doMC 循环的示例：

library(doSNOW)
hosts <- c('host-1', 'host-2')
cl <- makeSOCKcluster(hosts)
registerDoSNOW(cl)
r <- foreach(i=1:4, .packages='doMC') %dopar% {
  registerDoMC(2)
  foreach(j=1:8, .combine='c') %dopar% {
    i * j
  }
}
stopCluster(cl)

对我来说，将 doMC 用于内部循环似乎很自然，但是您可以随心所欲地进行操作。您也可以对两个循环都使用 doSNOW，但是您需要在外部 foreach 循环内创建和停止雪簇。

这是在 doMC 循环中使用 doMC 的示例：

library(doMC)
registerDoMC(2)
r <- foreach(i=1:2, .packages='doMC') %dopar% {
  ppid <- Sys.getpid()
  registerDoMC(2)
  foreach(j=1:2) %dopar% {
    c(ppid, Sys.getpid())
  }
}

结果表明，doMC 包总共分叉了六个进程，尽管只有四个执行了内部循环的主体：

> r
[[1]]
[[1]][[1]]
[1] 14946 14949

[[1]][[2]]
[1] 14946 14951


[[2]]
[[2]][[1]]
[1] 14947 14948

[[2]][[2]]
[1] 14947 14950

当然，你需要注意不要在单个节点上启动太多进程。我发现这种嵌套有点别扭，这导致了嵌套算子的发展。

于 2013-06-21T19:02:12.197 回答