r - 在 AWS EC2 上使用 doRedis 和 doMC 在 R 中进行多核/并行模拟

Question

我有一个非常适用于并行处理的模拟功能。我设法让它运行多核（EC2 cc2.8xlarge 上最多 32 个核心）。

现在我想知道我是否也可以使用 Redis 让它在多个实例中并行运行多个内核。

我的模拟功能的核心本质上是

library(doMC)
registerDoMC(cores=32)
simresults<-foreach (i=1:nrow(input.data), .combine=c) %dopar% {
    simulation function (input.data$1[i],input.data$2[i],input.data$3[i])
}

simresults 然后是我收集的结果的向量。模拟运行了几次 10^7 次。

这是否可以使用doRedis或任何其他工具（segue？）

Answer 1

是的，并且有几个例子浮动 - 例如参见rredis包的rredis Manual vignette 。

除了redis和多核之外，当然还有其他的选择。