我已经成功地使用降雪在具有 16 个处理器的单个服务器上设置了一个集群。
require(snowfall)
if (sfIsRunning() == TRUE) sfStop()
number.of.cpus <- 15
sfInit(parallel = TRUE, cpus = number.of.cpus)
stopifnot( sfCpus() == number.of.cpus )
stopifnot( sfParallel() == TRUE )
# Print the hostname for each cluster member
sayhello <- function()
{
info <- Sys.info()[c("nodename", "machine")]
paste("Hello from", info[1], "with CPU type", info[2])
}
names <- sfClusterCall(sayhello)
print(unlist(names))
现在，我正在寻找有关如何迁移到分布式模型的完整说明。我有 4 台不同的 Windows 机器，总共有 16 个内核，我想将它们用于 16 节点集群。到目前为止，我知道我可以手动设置 SOCK 连接或利用 MPI。虽然看起来有可能，但我还没有找到关于如何做的明确和完整的指示。
SOCK 路由似乎依赖于 snowlib 脚本中的代码。我可以使用以下代码从主端生成存根：
winOptions <-
list(host="172.01.01.03",
rscript="C:/Program Files/R/R-2.7.1/bin/Rscript.exe",
snowlib="C:/Rlibs")
cl <- makeCluster(c(rep(list(winOptions), 2)), type = "SOCK", manual = T)
它产生以下结果：
Manually start worker on 172.01.01.03 with
"C:/Program Files/R/R-2.7.1/bin/Rscript.exe"
C:/Rlibs/snow/RSOCKnode.R
MASTER=Worker02 PORT=11204 OUT=/dev/null SNOWLIB=C:/Rlibs
感觉是一个合理的开始。我RSOCKnode.R在 GitHub 上的 snow 包下找到了代码：
local({
master <- "localhost"
port <- ""
snowlib <- Sys.getenv("R_SNOW_LIB")
outfile <- Sys.getenv("R_SNOW_OUTFILE") ##**** defaults to ""; document
args <- commandArgs()
pos <- match("--args", args)
args <- args[-(1 : pos)]
for (a in args) {
pos <- regexpr("=", a)
name <- substr(a, 1, pos - 1)
value <- substr(a,pos + 1, nchar(a))
switch(name,
MASTER = master <- value,
PORT = port <- value,
SNOWLIB = snowlib <- value,
OUT = outfile <- value)
}
if (! (snowlib %in% .libPaths()))
.libPaths(c(snowlib, .libPaths()))
library(methods) ## because Rscript as of R 2.7.0 doesn't load methods
library(snow)
if (port == "") port <- getClusterOption("port")
sinkWorkerOutput(outfile)
cat("starting worker for", paste(master, port, sep = ":"), "\n")
slaveLoop(makeSOCKmaster(master, port))
})
目前尚不清楚如何在工作人员上实际启动 SOCK 侦听器，除非它被埋在snow::recvData.
调查MPI 路线，据我所知，Microsoft MPI 版本 7 是一个起点。但是，我找不到 sfCluster 的 Windows 替代方案。我能够启动 MPI 服务，但它似乎没有在端口 22 上进行侦听，并且对它的任何抨击都没有snowfall::makeCluster产生结果。我已禁用防火墙并尝试使用 makeCluster 进行测试，并使用 PuTTY 直接从 master 连接到 worker。
是否有我错过的在 Windows 工作人员上设置降雪集群的全面分步指南？我喜欢snowfall::sfClusterApplyLB并希望继续使用它，但如果有更简单的解决方案，我愿意改变方向。研究 Rmpi 和并行，我找到了工作的主要方面的替代解决方案，但仍然很少或没有关于如何设置运行 Windows 的工作人员的具体细节。
由于工作环境的性质，既不能迁移到 AWS，也不能迁移到 Linux。
对于 Windows 工作节点没有明确答案的相关问题：