cuda - 需要在多个 GPU 上分配数据的指导

Question

我目前正在为 GPU 集群开发机器学习工具包。我在多个 GPU 上测试了逻辑回归分类器。

我正在使用 Master-Worker 方法，其中一个主 CPU 创建多个 POSIX 线程，并且矩阵在 GPU 之间进行划分。

但我遇到的问题是如何存储无法存储在单台机器上的大型矩阵。是否有任何库或方法可以在节点之间共享数据？

Answer 1

我不确定你的矩阵有多大，但你应该检查几周前发布的 CUDA 4.0。主要功能之一是跨多个 CUDA 设备/GPU 的共享内存