我正在使用 MPI 在 C++ 中编写一个程序（我将其称为“启动器”），以“生成”第二个可执行文件（“从属”）。根据集群有多少节点可供启动器使用，它将在每个节点上启动从属服务器，从属服务器也将通过 MPI 与启动器进行通信。当从节点完成其数学运算后，它会告诉启动器该节点现在可用，并且启动器将另一个从节点派生到空闲节点。关键是在一组异构机器上运行 1000 次独立计算，这些计算取决于第二个可执行文件。
这是在我自己的计算机上工作的，在那里我创建了一个“假”机器文件（或主机文件），为程序提供了两个节点：localhost 和 localhost。启动器生成两个从站，当其中一个结束时，启动另一个从站。这告诉我产卵过程正常工作。
当我将它移动到我实验室的集群时（使用扭矩/maui 来管理它），如果我要求 1（一个）节点，它也可以工作。如果我要求更多，我会收到一个缺少库的错误（准确地说是 libimf.so。来自英特尔编译器的库）。lib在那里，节点可以看到它，因为如果我只要求一个节点，程序就会运行。
我的 PBS 看起来像这样：
#!/bin/bash
#PBS -q small
#PBS -l nodes=1:ppn=8:xeon
#PBS -l walltime=1:00:00
#PBS -N MyJob
#PBS -V
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/mpich2.shared.exec/lib/:/opt/intel/composerxe-2011.3.174/compiler/lib/intel64/:/usr/local/boost/lib/
log_file="output_pbs.txt"
cd $PBS_O_WORKDIR
echo "Beginning PBS script." > $log_file
echo "Executing on hosts ($PBS_NODEFILE): " >> $log_file
cat $PBS_NODEFILE >> $log_file
echo "Running your stuff now!" >> $log_file
# mpiexec is needed in order to let "launcher" call MPI_Comm_spawn.
/usr/local/mpich2.shared.exec/bin/mpiexec -hostfile $PBS_NODEFILE -n 1 /home/user/launhcer --hostfile $PBS_NODEFILE -r 1 >> $log_file 2>&1
echo "Fim do pbs." >> $log_file
当我尝试两个或更多节点时，启动器不会生成任何可执行文件。我得到这样的输出：
Beginning PBS script.
Executing on hosts (/var/spool/torque/aux//2742.cluster):
node3
node3
node3
node3
node3
node3
node3
node3
node2
node2
node2
node2
node2
node2
node2
node2
Running your stuff now!
(Bla bla bla from launcher initialization)
Spawning!
/usr/local/mpich2.shared.exec/bin/hydra_pmi_proxy: error while loading shared libraries: libimf.so: cannot open shared object file: No such file or directory
我在邮件列表中发现了另一个人的问题，例如我的问题，但没有解决方案。（http://lists.mcs.anl.gov/pipermail/mpich-discuss/2011-July/010442.html）。唯一的答案建议尝试查找节点是否可以看到 lib（如果存储 lib 的目录已安装在节点上），所以我尝试了
ssh node2 ls /opt/intel/composerxe-2011.3.174/compiler/lib/intel64/libimf.so >> $log_file
在我的 PBS 脚本中，并且 lib 存在于节点可以看到的文件夹中。
在我看来，torque/maui 似乎没有将环境变量导出到所有节点（即使我不知道为什么它不会），所以当我尝试使用 MPI_Spawn 在另一个节点中运行另一个可执行文件时，它找不到库。这有任何意义吗？如果是这样，你能提出一个解决方案吗？任何人都可以提供任何其他想法吗？在此先感谢，马塞洛
编辑：
按照其中一个答案中的建议，我安装了 OpenMPI 以使用 mpiexec 测试选项“-x VARNAME”。在 PBS 脚本中，我将执行行更改为以下内容：
/usr/local/openmpi144/bin/mpiexec -x LD_LIBRARY_PATH -hostfile $PBS_NODEFILE -n 1 /var/dipro/melomcr/GSAFold_2/gsafold --hostfile $PBS_NODEFILE -r 1 >> $log_file 2>&1
但收到以下错误消息：
[node5:02982] [[3837,1],0] ORTE_ERROR_LOG: A message is attempting to be sent to a process whose contact information is unknown in file rml_oob_send.c at line 105
[node5:02982] [[3837,1],0] could not get route to [[INVALID],INVALID]
[node5:02982] [[3837,1],0] ORTE_ERROR_LOG: A message is attempting to be sent to a process whose contact information is unknown in file base/plm_base_proxy.c at line 86
从互联网上，我可以收集到这个错误通常来自多次执行 mpiexec，比如/path/to/mpiexec mpiexec -n 2 my_program我的情况一样。
我相信我应该补充一点，生成的“从属”程序使用端口与“启动器”程序通信。启动器使用 MPI_Open_port 和 MPI_Comm_accept 打开一个端口，然后在从属程序运行 MPI_Comm_connect 时等待从属程序连接。
就像我上面所说的，当我只要求一个节点时，所有这些都有效（使用 MPICH2）。使用 OpenMPI，即使我只要求一个节点，我也会收到上述错误。