0

我有一个由 R 中的 nnet 包训练的（大型）神经网络。我希望能够模拟来自这个神经网络的预测，并使用我之前成功使用过的类似 foreach 的东西以并行方式进行（全部在 Windows 机器上）。

我的代码本质上是这种形式

library(nnet)

data = data.frame(out=c(0, 0.1, 0.4, 0.6),
              in1=c(1, 2, 3, 4),
              in2=c(10, 4, 2, 6))

net = nnet(out ~ in1 + in2, data=data, size=5)

library(doParallel)
registerDoParallel(cores=detectCores()-2)

results = foreach(test=1:10, .combine=rbind, .packages=c("nnet")) %dopar% {
  result = predict(net, newdata = data.frame(in1=test, in2=5))
  return(result)
}

除非拟合和预测更大的NN；大约 300MB。

上面的代码在使用传统的 for 循环或使用 %do% 时运行良好，但在使用 %dopar% 时，所有正在使用的内核都会加载到内存中 - 每个内核大约 700MB。如果我运行它足够长的时间，一切最终都会爆炸。

查找了类似的问题后，我仍然不知道是什么原因造成的。省略“预测”部分可以让一切顺利进行。

如何让每个核心查找不变的“网络”而不是将其加载到内存中？还是不可能？

4

2 回答 2

1

当您启动新的并行工作者时，您实际上是在创建一个新环境，这意味着您在该新环境中执行的任何操作都需要访问相关的变量/函数。

例如，您必须指定.packages=c("nnet")，因为您需要nnet每个新工作人员（环境）中的包，这就是您从全局环境“克隆”或“导出”到每个工作人员环境的方式。

因为您需要经过训练的神经网络来进行预测，所以您还需要将其导出给每个工作人员，而且我看不出有办法解决您正在经历的内存爆炸。如果您仍然对并行化感兴趣但内存不足，我唯一的建议是查看doMPI.

于 2017-09-22T01:37:15.357 回答
0

如何让每个核心查找不变的“网络”而不是将其加载到内存中？还是不可能？

CPak 的回复解释了发生了什么；您正在单独的 R 会话中有效地运行主脚本的多个副本（=workers）。由于您使用的是 Windows，因此请致电

registerDoParallel(cores = n)

扩展为：

cl <- parallel::makeCluster(n, type = "PSOCK")
registerDoParallel(cl)

哪个设置了n 独立的后台R 工作人员和他们自己的独立内存地址空间。

现在，如果您使用的是类 Unix 系统，则它对应于使用n 分叉的R 工作者，参见。parallel::mclapply(). Windows 上的 R 不支持分叉进程。使用分叉处理，您将有效地得到您所要求的，因为分叉的子进程将共享主进程已经分配的对象（只要这些对象没有被修改），例如net.

于 2017-10-04T00:12:35.850 回答