python - MPI 信号处理

Question

使用时，是否可以在正在运行的代码中mpirun捕获信号（例如，由生成的 SIGINT ）？^C

例如，我正在运行一个并行化的 python 代码。我可以在自己except KeyboardInterrupt运行时捕获这些错误python blah.py，但在执行mpirun -np 1 python blah.py.

~~有人有建议吗？即使找到如何在 C 或 C++ 编译程序中捕获信号也是一个有益的开始。~~

如果我向生成的 Python 进程发送信号，它们可以正确处理信号；但是，发送到父orterun进程的信号（即来自集群上超过挂墙时间，或在终端中按 control-C）将立即杀死所有内容。

score 3 · Accepted Answer

我认为这真的取决于实现。

在 SLURM 中，我尝试使用sbatch --signal USR1@30发送SIGUSR1（其符号为 30,10 或 16）到由srun命令启动的程序。并且进程接收到信号SIGUSR1 = 10。
对于 IBM 的平台 MPI，根据https://www.ibm.com/support/knowledgecenter/en/SSF4ZA_9.1.4/pmpi_guide/signal_propagation.html

SIGINT, SIGUSR1, SIGUSR2将绕过进程。

在 MPICH 中，进程管理器使用 SIGUSR1 进行异常故障的内部通知。参考： http: //lists.mpich.org/pipermail/discuss/2014-October/003242.html >
另一方面，Open MPI 会将 SIGUSR1 和 SIGUSR2 从 mpiexec 转发到其他进程。参考：http ://www.open-mpi.org/doc/v1.6/man1/mpirun.1.php#sect14 >
对于 IntelMPI，根据https://software.intel.com/en-us/mpi-developer-reference-linux-hydra-environment-variables

I_MPI_JOB_SIGNAL_PROPAGATION并可I_MPI_JOB_TIMEOUT_SIGNAL设置发送信号。

还有一点值得注意：对于很多python脚本，它们会通过cython调用其他库或代码，如果被子SIGUSR1进程捕获，可能会发生一些不想要的事情。

score 1 · Accepted Answer

如果您使用mpirun --nw，那么mpirun它本身应该在启动子进程后立即终止，而不是等待它们的终止；如果这是可以接受的，那么我相信您的流程将能够捕捉到自己的信号。

score -2 · Accepted Answer

信号模块支持使用以下设置信号处理程序signal.signal：

将信号 signalnum 的处理程序设置为函数处理程序。handler 可以是一个可调用的 Python 对象，带有两个参数（见下文），或者是特殊值 signal.SIG_IGN 或 signal.SIG_DFL 之一。将返回先前的信号处理程序...

import signal
def ignore(sig, stack):
  print "I'm ignoring signal %d" % (sig, )

signal.signal(signal.SIGINT, ignore)
while True: pass

如果您向SIGINT运行此脚本的 Python 解释器发送一个（通过kill -INT <pid>），它将打印一条消息并继续运行。

3 回答 3