1

我有一个具有四个节点 A、B、C 和 D 以及 Slurm 版本 17.11.7 的计算集群。我正在为 Slurm 阵列工作而苦苦挣扎。我有以下 bash 脚本：

#!/bin/bash -l
#SBATCH --job-name testjob
#SBATCH --output output_%A_%a.txt
#SBATCH --error error_%A_%a.txt
#SBATCH --nodes=1
#SBATCH --time=10:00
#SBATCH --mem-per-cpu=50000

FOLDER=/home/user/slurm_array_jobs/
mkdir -p $FOLDER
cd ${FOLDER}

echo $SLURM_ARRAY_TASK_ID > ${SLURM_ARRAY_TASK_ID}

该脚本生成以下文件：

  • 输出_*txt,
  • 错误_*txt，
  • 根据 ${SLURM_ARRAY_TASK_ID} 命名的文件

我在我的计算集群节点 A 上运行 bash 脚本，如下所示

sbatch --array=1-500 example_job.sh

500 个作业分布在节点 AD 之间。此外，输出文件存储在节点 AD 上，相应的阵列作业已在其中运行。在这种情况下，例如，大约 125 个“output_”文件分别存储在 A、B、C 和 D 上。

有没有办法将所有输出文件存储在我提交脚本的节点上，在这种情况下，在节点 A 上？也就是说，我喜欢将所有 500 个“output_”文件存储在节点 A 上。

4

2 回答 2

1

Slurm 不处理输入/输出文件传输，并假设当前工作目录是网络文件系统，例如最简单的NFS 。但是GlusterFS、BeeGFS或Lustre是 Slurm 的其他流行选择。

于 2018-06-19T10:45:22.370 回答
0

使用 Epilog 脚本将输出复制回脚本提交的位置，然后将其删除。

添加到 slurm.conf：

Epilog=/etc/slurm-llnl/slurm.epilog

slurm.epilog 脚本进行复制（通过 chmod +x 使其可执行）：

#!/bin/bash

userId=`scontrol show job ${SLURM_JOB_ID} | grep -i UserId | cut -f2 -d '=' | grep -i -o ^[^\(]*`
stdOut=`scontrol show job ${SLURM_JOB_ID} | grep -i StdOut | cut -f2 -d '='`
stdErr=`scontrol show job ${SLURM_JOB_ID} | grep -i StdErr | cut -f2 -d '='`
host=`scontrol show job ${SLURM_JOB_ID} | grep -i AllocNode | cut -f3 -d '=' | cut -f1 -d ':'`
hostDir=`scontrol show job ${SLURM_JOB_ID} | grep -i Command | cut -f2 -d '=' | xargs dirname`
hostPath=$host:$hostDir/

runuser -l $userId -c "scp $stdOut $stdErr $hostPath"
rm -rf $stdOut
rm -rf $stdErr

（从 PBS 切换到没有 NFS 或类似共享目录的 Slurm 很痛苦。）

于 2022-01-06T08:35:44.047 回答