gpu - GPU 系统上 BLAS/LAPACK 或其他线性代数路由的最快可用实现是什么？

Question

例如，nVidia 有 CUBLAS，它承诺加速 7-14 倍。天真地，这远不及任何 nVidia 的 GPU 卡的理论吞吐量。在 GPU 上加速线性代数有哪些挑战，是否已经有更快的线性代数路由可用？

Answer 1

据我所知，CUBLAS 是 Nvidia GPU 上最快的线性代数实现。如果您需要 LAPACK 功能，可以使用 CULAPACK。

请注意，CUBLAS 仅涵盖稠密线性代数；对于稀疏矩阵，有 CUSPARSE（也作为 CUDA 工具包的一部分提供）。

加速很大程度上取决于您正在操作的数据类型以及您正在执行的特定操作。一些线性代数运算可以很好地并行化，而另一些则不然，因为它们本质上是顺序的。并行架构的数值算法优化是（并且几十年来一直是）一个正在进行的研究领域——因此算法的性能正在不断提高。