我是并行编程的新手。我正在尝试将两个矩阵相乘。我将问题划分如下:
假设操作为 mat3 = mat1 x mat2 我将 mat2 广播到通信器中的所有进程,并切出 mat1 的行并将它们分散到通信器组中的进程。在所有进程都有整个 mat2 和 mat1 的相应条带之后,它们将条带与 mat2 相乘,然后我使用该过程的本地结果进行收集操作,并将整个结果累加到根进程中。
我想知道在通用计算机中将两个矩阵相乘是否有更好的分区问题。
我的实现是在 OpenMPI 中。
我是并行编程的新手。我正在尝试将两个矩阵相乘。我将问题划分如下:
假设操作为 mat3 = mat1 x mat2 我将 mat2 广播到通信器中的所有进程,并切出 mat1 的行并将它们分散到通信器组中的进程。在所有进程都有整个 mat2 和 mat1 的相应条带之后,它们将条带与 mat2 相乘,然后我使用该过程的本地结果进行收集操作,并将整个结果累加到根进程中。
我想知道在通用计算机中将两个矩阵相乘是否有更好的分区问题。
我的实现是在 OpenMPI 中。
关于矩阵乘法的文献中有多种算法可以扩展到 MPI 范式。例如:
> 1Dsystolic [1]
> 2D-systolic, Cannon’s algorithm [2];
> Fox’s algorithm [3];
> Berntsen’s algorithm [4];
> DNS algorithm [5].
如果您忽略矩阵属性(稀疏等),它基本上会恢复数据在进程之间的分布方式,以最大限度地减少同步和负载不平衡(每个进程之间分配的工作量)。
在最近的这项工作中,您可以看到两种不同的数据分布方法以及它们之间的比较。
文件:
[1] Golub G.H and Van C.H L., “Matrix Computations.”,Johns Hopkins University Press, 1989.
[2] Whaley R. C., Petitet A., Dongarra J. J., “Automated empirical optimizations of software and the ATLAS project” Parallel Computing 27, 1.2 (2001), 3.35.
[3] Fox G. C., Otto S. W., and Hey A. J. G., “Matrix algorithms on a hypercube I:
Matrix multiplication”,Parallel Computing, vol. 4, pp. 17-31. 1987.
[4] Berntsen J.,“Communication efficient matrix multiplication on hypercubes, Parallel Computing”, vol. 12, pp. 335-342, 1989.
[5] Ranka S. and Sahni S., “Hypercube Algorithms for Image Processing and Pattern Recognition”, Springer- Verlag, New York, NY, 1990.