parallel-processing - CPU 与 GPU 上的 MPI-2

Question

我正在使用 MPI-2 并行化代码。当我使用 8 个核心处理器时，它成功地加速了。

我只是想知道如果我将 GPU 用于相同目的而不是 CPU 会有什么影响？根据我目前的研究，OpenMPI 与 GPU 兼容，只有在处理器间通信比 CPU 多的情况下，速度才会更好。有没有人尝试过，或者对此有什么看法？

Answer 1

GPU 并行化是与 MPI 并行化完全不同的方向，因为 GPU 线程不能像 MPI 等级那样运行并进行 MPI 调用——它们甚至不是真正需要的线程。不过，您可以通过在 MPI 程序的每个等级中调用 GPU 代码来组合它们。