3

我正在使用SLURM资源管理软件在集群上使用 OpenMPI 运行我的可执行文件。我想找到一种方法来指定应该为每个节点分配多少进程和哪些进程，其中每个节点的进程数可能不同。

澄清我正在寻找的示例：假设我想在 3 个节点上运行 7 个进程。然后我想说：节点 1 应该运行秩为 n 的进程，节点 2 和 3 应该分别运行剩余进程中的 3 个。

我不在乎哪个物理节点是节点 1，因为我使用的集群上的所有节点都是相等的。此外，我不知道 SLURM 将分配哪些节点，因此我无法在主机文件中硬编码节点的名称。我发现的 OpenMPI 文档中的一个示例将为我的示例定义这样的主机文件：

aa slots=1
bb slots=3
cc slots=3

但我对这种方法有两个问题：

  1. 我不知道节点的名称 aa、bb、cc。
  2. 即使我认识他们，节点 aa 上的进程也不一定具有正确的等级。
4

1 回答 1

3

感谢 Hristo Iliev 的评论，我找到了问题中所述示例的解决方案：

#!/bin/bash 

HOSTFILE=./myHostfile
RANKFILE=./myRankfile

# Write the names of the nodes allocated by SLURM to a file
scontrol show hostname ${SLURM_NODELIST} > $HOSTFILE

# Number of processes
numProcs=7

# Number of nodes
numNodes=${SLURM_JOB_NUM_NODES}

# Counts the number of processes already assigned
count=0

while read p; do
  # Write the node names to a rank file
  if [ $count == 0 ]
  then
    echo "rank $count=$p slot=0-7" > $RANKFILE
    let count=$count+1
    let numNodes=$numNodes-1 # Number of nodes that are still available
  else
    # Compute the number of processes that should be assigned to this node
    # by dividing the number of processes that still need to be assigned by 
    # the number of nodes that are still available. (This automatically "floor"s the result.)
    let numProcsNode=($numProcs-$count)/$numNodes
    for i in `seq 1 $numProcsNode`
    do
        echo "rank $count=$p slot=0-7" >> $RANKFILE
        let count=$count+1
    done
    let numNodes=$numNodes-1 # Number of nodes that are still available
  fi
done < $HOSTFILE

mpirun --display-map -np $numProcs -rf $RANKFILE hostname

虽然有点难看。并且可能“slot=0-7”不应该有“7”硬编码。

于 2014-02-27T10:30:28.830 回答