5

我必须运行很多随机森林模型，所以我想在我的 8 核服务器上使用 doParallel 来加速这个过程。

然而，有些模型需要比其他模型更长的时间，甚至可能会抛出错误。我想并行运行 8 个模型，如果模型抛出错误和/或被跳过，那么工作人员应该继续。每个模型结果都保存在硬盘上，以便我以后可以访问和组合它们。

TryCatch

或者

.errorhandling="remove"

没有解决问题。我明白了

 Error in unserialize(socklist[[n]]) : error reading from connection

代码示例：我用 %do% 试了一下，模型 2-7 运行成功。然而在 %dopar% 我得到了显示的错误

 foreach(model=1:8, .errorhandling="remove") %dopar% {


      tryCatch({
          outl <- rf_perform(...)
          saveRDS(outl,file=getwd() %+% "/temp/result_" %+% model %+% ".rds")

     }, error = function(e) {print(e)}, finally = {})
  }
4

1 回答 1

3

我想我发现了问题：如果您导出到集群的对象太大，则 R 无法再处理它和/或超时

我的数据对象 exportet 是 500 万行和 300 个变量，导出到 16 个集群。

cl <- makeCluster(16)
registerDoParallel(cl)
clusterExport(cl, "data")

#data must not be too large

我将对象缩小为更小的部分，现在它可以工作了。作者可能想在 doParallel 的文档中提及这一点，或者如果对象太大则抛出警告。

于 2015-12-29T16:36:06.010 回答