mpi - 使用 MPI 合并所有等级的数组

Question

我在所有等级上都有一个相同长度的数组（假设为 10）。数组中的一些值包含处理器的等级。例如 ...

Proc 1: [1 0 0 0 0 1 0 0 0 1]

Proc 2: [0 2 2 0 0 0 0 2 2 0]

Proc 3: [0 0 0 3 3 0 3 0 0 0]

现在所有处理器以以下数组结尾的最有效方式是什么（使用 MPI-2）

[1 2 2 3 3 1 3 2 2 1]

可以将其视为所有数组的总和（分布在所有等级上）。性能很重要，因为我想在 1K+ 内核上快速做到这一点。

Answer 1

这可以通过MPI_Allreduce()with MPI_SUMorMPI_MAX运算符来实现。请参阅MPI_Allreduce的文档。它应该以给定架构的最佳可能方式之一来实现。

int arr_a[LEN], arr_b[LEN];
...
// Fill in arr_a
MPI_Allreduce(arr_a, arr_b, LEN, MPI_INT, MPI_SUM, MPI_COMM_WORLD);
// Result is now in arr_b

或者，如果内存不足，您可以使用就地操作，但这会损害性能：

MPI_Allreduce(MPI_IN_PLACE, arr_a, LEN, MPI_INT, MPI_SUM, MPI_COMM_WORLD);