3

我已经习惯于在每个节点有 32 个核心的集群上执行 R 作业。我现在在一个每个节点有 16 个核心的集群上。我想通过一次使用多个节点（就像我一直在做的那样）来保持（或提高）性能。

从我的虚拟销售脚本和虚拟函数（如下）可以看出，单个节点上的并行化非常容易。将其扩展到多个节点是否同样容易？如果是这样，我将如何修改我的脚本？

R脚本：

library(plyr)
library(doMC)
registerDoMC(16)

dothisfunctionmanytimes = function(d){
    print(paste("my favorite number is",d$x,'and my favorite letter is',d$y))
}
d = expand.grid(1:1000,letters)
d_ply(.data=d,.fun=dothisfunctionmanytimes,.parallel=T)

外壳脚本：

#!/bin/sh
#PBS -N runR
#PBS -q normal
#PBS -l nodes=1:ppn=32
#PBS -l walltime=5:00:00
#PBS -j oe
#PBS -V
#PBS -M email
#PBS -m abe

. /etc/profile.d/modules.sh
module load R

#R_LIBS=/home/diag/opt/R/local/lib
R_LIBS_USER=${HOME}/R/x86_64-unknown-linux-gnu-library/3.0
OMP_NUM_THREADS=1

export R_LIBS R_LIBS_USER OMP_NUM_THREADS

cd $PBS_O_WORKDIR
R CMD BATCH script.R

（shell 脚本由 提交qsub script.sh）

4

0 回答 0