bash - 并行执行多个作业时指定 SLURM 资源

Question

根据这里的答案，--ntasks 或 -n 任务在 SLURM 中有什么作用？可以通过ntasks参数 sbatch 后跟. 并行运行多个作业srun。问一个后续问题——当像这样并行运行作业时，如何指定所需的内存量？

如果说 3 个作业并行运行，每个作业需要 8G 内存，是否会指定 24G 内存sbatch（即所有作业的内存总和），或者不提供内存参数，sbatch而是为每个作业指定 8G 内存srun？

Answer 1

您需要在使用 提交的脚本中指定内存要求sbatch，否则您最终会得到默认的内存分配，这可能不符合您的需求。如果您随后在srun调用中指定 8GB 内存，则如果默认内存低于此值，您可能最终无法启动任何作业，或者如果默认内存介于 16 和 24GB 之间，则只有一两个作业并行运行.

您可以提出要求--mem=24GB，但提供的灵活性不如指定--mem-per-cpu=8G。