0

我正在使用 R 在具有多个节点和多个内核的集群上并行调用外部程序。外部程序需要三个输入数据文件并生成一个输出文件（所有文件都存储在同一个子文件夹中）。为了并行运行程序（或者更确切地说以并行方式调用它），我最初将该foreach函数与doParallel库一起使用。只要我只是在单个节点上使用多个内核，它就可以正常工作。

但是，我想使用具有多个内核的多个节点。因此，我相应地修改了我的代码以doSNOW结合使用该库foreach（我尝试了Rmpiand doMPI，但我没有设法使用这些库在多个节点上运行代码）。这工作正常，即外部程序现在确实在多个节点（具有多个核心）上运行，并且集群日志文件显示它产生了所需的结果。然而，我现在面临的问题是，外部程序不再将结果/输出文件存储在主节点上/工作目录的指定子文件夹中（当我使用doParallel. 这使我无法将结果导入 R。

事实上，如果我检查相关文件夹的内容，它不包含任何输出文件，尽管日志文件清楚地显示外部程序运行成功。我猜它们存储在不同的节点上（？）。 我必须对我的foreach功能或设置集群的方式进行哪些修改，才能将这些文件保存在主节点上/工作目录中指定的子文件夹中？

这里有一些示例 R 代码，以展示我在做什么：

# #Set working directory in non-interactive mode
setwd(system("pwd", intern = T))


# #Load some libraries
library(foreach)
library(parallel)
library(doParallel)


# ####Parallel tasks####
# #Create doSNOW cluster for parallel tasks
library(doSNOW)
nCoresPerNode <- as.numeric(Sys.getenv("PBS_NUM_PPN"))
nodeNames <- system("cat $PBS_NODEFILE | uniq", intern=TRUE)
machines <- rep(nodeNames, each = nCoresPerNode)
cl <- makeCluster(machines, type = "SOCK")
registerDoSNOW(cl)

# #How many workers are we using?
getDoParWorkers()

#####DUMMY CODE#####
# #The following 3 lines of code are just dummy code: 
# #The idea is to create input files for the external program "myprogram"
external_Command_Script.cmd # #command file necessary for external program "myprogram" to run
startdata # #some input data for "myprogram"
enddata # #additional input data for "myprogram"
####DUMMY CODE######


# #Write necessary command and data files for external program: THIS WORKS!
for(i in 1:100)){
  write(external_Command_Script.cmd[[i]], file=paste("./mysubfolder/external_Command_Script.",i,".cmd", sep=""))
  write.table(startdata, file=paste("./mysubfolder/","startdata.",i,".txt", sep=""), col.names = FALSE, quote=FALSE)
  write.table(enddata, file=paste("./mysubfolder/","enddata.",i,".txt", sep=""), col.names = FALSE, quote=FALSE)
}


# #Run external program "myprogram" in parallel: THIS WORKS!
foreach(i = 1:100)) %dopar% {
    system(paste('(cd ./mysubfolder && ',"myprogram",' ' ,"enddata.",i,".txt ", "startdata.",i,".txt", sep="",' < external_Command_Script.',i,'.cmd)'))
}



# #Import results of external program: THIS DOES NOT WORK WHEN RUN ON MULTIPLE NODES!
results <- list()
for(i in 1:100)){
    results[[i]] = read.table(paste("./mysubfolder/","enddata.txt.",i,".log.txt", sep=""), sep = "\t",  quote="\"", header = TRUE)
}

# #The import does NOT work as the files created by the external program are NOT stored on the master node/in the
# #subfolder of the working directory!
# #Instead I get the following error message:
# #sh: line 0: cd: ./mysubfolder: No such file or directory
# #Error in { : task 6 failed - "cannot open the connection"

我的集群 pbs 脚本如下所示：

#!/bin/bash
# request resources:
#PBS -l nodes=2:ppn=8
#PBS -l walltime=00:30:00
module add languages/R-3.3.3-ATLAS
export PBS_O_WORKDIR="/panfs/panasas01/gely/xxxxxxx/workingdirectory"
# on compute node, change directory to 'submission directory':
cd $PBS_O_WORKDIR

# run your program and time it:
time Rscript ./R_script.R
4

2 回答 2

1

我想建议你看看batchtools包。它提供了与 R 中的 TORQUE / PBS 交互的方法。

如果您可以暂时使用它的前身BatchJobs，我还建议您尝试一下，当您了解它的工作原理时，请查看 doFuture foreach 适配器。这将允许您使用 future.BatchJobs 包。doFuture、future.BatchJobs 和 BatchJobs 的这种组合允许您在 R 中执行所有操作，而不必担心创建临时 R 脚本等。（免责声明：我是两者的作者）。

示例设置后的外观：

## Tell foreach to use futures
library("doFuture")
registerDoFuture()

## Tell futures to use TORQUE / PBS with help from BatchJobs
library("future.BatchJobs")
plan(batchjobs_torque)

然后你使用：

res <- foreach(i = 1:100) %dopar% {
  my_function(pathname[i], arg1, arg2)
}

这将在单独的 PBS 作业中评估每次迭代，即您将看到 100 个作业添加到队列中。

future.BatchJobs 小插曲有更多示例和信息。

更新 2017-07-30：future.batchtools包自 2017 年 5 月起在 CRAN 上。现在推荐使用该包而不是 future.BatchJobs。用法与上面非常相似，例如，plan(batchjobs_torque)您现在使用plan(batchtools_torque).

于 2017-04-26T23:34:40.823 回答
0

问题已解决： 我犯了一个错误：外部程序实际上没有运行 - 我误解了日志文件。外部程序无法运行的原因是找不到子文件夹（包含必要的输入数据）。看来集群默认是用户目录，而不是pbs提交脚本中指定的工作目录。此行为与使用 创建的集群不同doParallel，后者确实可以识别工作目录。因此，只需在 R 脚本中添加工作目录和子文件夹的相对路径即可解决问题，即，./workingdirectory/mysubfolder/而不是仅./mysubfolder/. 或者，您也可以使用文件夹的完整路径。

于 2017-04-23T18:38:11.697 回答