3

我正在使用 snowfall 1.84 包进行并行计算，并希望每个工作人员在计算期间将数据写入自己的单独文件。这可能吗 ？如果是这样怎么办？

我正在使用“SOCK”类型的连接，例如 sfInit(parallel=TRUE, ...,type="SOCK" )，并且希望代码独立于平台（unix/windows）。

我知道可以使用 sfInit 中的“slaveOutfile”选项来定义写入日志文件的文件。但这是出于调试目的，所有从属/工作人员必须使用相同的文件。我需要每个工人都有自己的输出文件！！！

我需要编写的数据是大型数据帧，而不是简单的诊断消息。这些数据帧需要由从属进程输出，不能发回主进程。任何人都知道我怎么能做到这一点？

谢谢

4

1 回答 1

0

一个简单的解决方案是使用sfClusterApply执行一个函数，在每个工作人员上打开一个不同的文件，将生成的文件对象分配给一个全局变量，以便您可以在后续并行操作中写入它：

library(snowfall)
nworkers <- 3
sfInit(parallel=TRUE, cpus=nworkers, type='SOCK')
workerinit <- function(datfile) {
  fobj <<- file(datfile, 'w')
  NULL
}
sfClusterApply(sprintf('worker_%02d.dat', seq_len(nworkers)), workerinit)

work <- function(i) {
  write.csv(data.frame(x=1:3, i=i), file=fobj)
  i
}
sfLapply(1:10, work)
sfStop()
于 2014-01-06T15:18:21.193 回答