4

我正在尝试在大型计算机集群上运行一段代码，以分析数据的不同部分。

我创建了 2 个循环来将作业分配给不同的节点以及节点包含的 cpu。我编写的分析函数“chnJob()”只需要一个索引就可以知道它需要分析的数据的哪一部分（在这种情况下是称为“chn”的shell变量）。

循环是这样的：

for NODE in $NODES; do # Loop through nodes
   for job_idx in {1..$PROCS_PER_NODE}; do # Loop through jobs per node (8 per node)
      echo "this is the channel $chn"
      ssh $NODE "matlab -nodisplay -nodesktop -nojvm -nosplash -r 'cd $WORK_DIR; chnJob($chn); quit'" &
      let chn++
      sleep 2
  done
done

即使我看到 chn 变量正在正确递增，但传递给 matlab 函数的 chn 值始终是 chn 的最后一个值。

这可能是因为 matlab 需要花费大量时间在每个节点上打开并且 bash 到那时才完成循环。所以传递给每个 matlab 实例的值只是最后一个值。

有没有办法绕过它？我可以在调用函数时“烘焙”该变量的值吗？

还是问题完全不同？

4

3 回答 3

3

我不认为这是正在发生的事情。你可以尝试运行这个：

cnt=0
for a in 1 2; do 
  for b in 1 2; do 
    echo --- $cnt
    ssh somehost "echo result: '$cnt'" & 
    let cnt++
  done
done

将 somehost 替换为您sshd正在运行的某个主机。这将打印从echo result: '$cnt'远程执行返回的数字 0 - 3。因此，执行本身可以正常工作。

我可以建议您将命令 ( matlab ...) 移动到已知文件夹中的某个脚本中，然后通过提供该脚本的完整路径在上述循环中运行该脚本。就像是：

ssh $NOTE "/path/to/script.sh $cnt"

在脚本中，$1会给你你想要的值（即$cnt来自循环）。您可以echo $1 >> /tmp/values在脚本的开头使用来收集 file 中的所有值/tmp/values。当然，rm /tmp/values在你开始之前。这将确认您是否获得了所需的所有值。

于 2010-11-20T00:33:07.933 回答
2

Bash 无法处理大括号范围表达式中的变量。它们必须是文字：{1..10}. 由于您现在拥有它的方式，每次外部循环的迭代始终只执行一次内部循环，而不是八次（或任何值PROCS_PER_NODE）。结果，当它应该从变为时chn，从它的初始值变为那个加。NODESOriginal_chnNODES * PROCS_PER_NODE

改用 C 风格的for循环：

for ((job_idx=1; job_idx<=$PROCS_PER_NODE; job_idx++))

您可以同时增加job_idx和chn（for如果这不会给您带来问题）：

for ((job_idx=1; job_idx<=$PROCS_PER_NODE; job_idx++, chn++))
于 2010-11-20T07:40:20.470 回答
0

如果 $PBS_NODEFILE 包含带有节点列表的文件名（每行一个），那么这应该有效：

  seq 1 100 | parallel --slf $PBS_NODEFILE "matlab -nodisplay -nodesktop -nojvm -nosplash -r 'cd $WORK_DIR; chnJob({}); quit'"

了解更多：https ://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

于 2013-02-03T15:39:44.003 回答