2

基于这里的这篇文章，我尝试编写一个脚本，在这里看到：

library(parallel)
library(doParallel)

cl<-makeCluster(2,outfile='')
registerDoParallel(cl)

foreach(i=1:5, .packages='parallel') %dopar% {
    system.time(mclapply(1:10, function(x){rnorm(1e5)},mc.cores=2))
}

stopCluster(cl)

它最初工作，但现在抛出错误代码：

Error in unserialize(node$con) : error reading from connection
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode -> unserialize
Execution halted
Error in unserialize(socklist[[n]]) : error reading from connection
Error in unserialize(node$con) : error reading from connection
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode -> unserialize
Execution halted

知道发生了什么吗？甚至可以将 mclapply 放在 foreach 循环中吗？

编辑：我还想说这是在单个 8 核机器上，而不是集群上。

4

2 回答 2

3

我能够仅使用 R 3.2.3 中的“并行”包在我的 Linux 机器上重现您的问题：

library(parallel)
cl <- makeCluster(2)
clusterEvalQ(cl, library(parallel))
fun <- function(i) {
  mclapply(1:10, function(x) rnorm(1e5), mc.cores=2)
  0
}
clusterApplyLB(cl, 1:5, fun)

从我的调试会话中，似乎主服务器和工作人员之间的套接字连接可能会损坏，这可能会导致工作人员在尝试从损坏的套接字连接中“反序列化”数据时出错时死亡。

有趣的是，我可以通过使用“multicore”包而不是“parallel”来让这个例子工作。我使用以下命令从 RForge.net 安装了多核 0.1-8：

> install.packages('multicore',,'http://www.rforge.net/')

然后，我在工人身上加载了“多核”而不是“并行”：

clusterEvalQ(cl, library(multicore))

然后这个例子工作得很好。您可以更改 foreach 循环以使用该.packages='multicore'选项。

据我所知，这就是它。我的猜测是，由“并行”中的“mclapply”分叉的子进程以某种方式破坏了它们继承的套接字连接，但我没有查看代码以查看该理论是否合理。

我猜你的选择是：

  1. 不要在“doParallel”foreach 循环中使用“mclapply”
  2. 使用“multicore 0.1-8”中的“mclapply”而不是“parallel”
  3. 将此问题报告给 R-Core

您必须做额外的工作才能将此报告给 R-Core，但希望我的示例会有所帮助。

于 2016-02-19T16:11:44.023 回答
0

我在使用 mclapply 进行并行计算时遇到了类似的错误。它以非常随机的方式偶尔发生。您可以按照其他答案的建议进行操作，但我所做的一个快速修复是让算法捕获此错误并重新运行命令。大多数情况下，如果您再次运行它，它将起作用。

于 2021-08-02T18:10:12.037 回答