cuda - CUDA Peer-to-Peer across I/O hubs

Question

Is there an SBIOS entry or other configuration change that will enable peer-to-peer to work for CUDA across the QPI links that connect I/O hubs (or sockets, in the case of CPUs that integrate the I/O hub - Sandy Bridge and higher)?

Answer 1

不可以。QPI 链路的协议并未完全涵盖 PCIE 协议的所有特性，尤其是 P2P 协议使用的某些特性。

此处的英特尔数据表中记录了具体差异。

“IOH 不支持从 PCI Express 为远程点对点 MMIO 事务启用非连续字节。这是对 PCI Express 标准要求的附加限制，以防止与英特尔 QuickPath 互连不兼容。”（第 135 页）

因此 P2P 需要两个设备之间的连续 PCIE 结构。两个设备都需要在同一个 PCIE 根联合体上。当GPUDirect v2.0 (Peer-to-Peer)首次引入时，NVIDIA 在 CUDA 4.0 时间范围内公布了这一特殊要求。

请注意，一般来说，P2P 支持可能因 GPU 或 GPU 系列而异。在一种 GPU 类型或 GPU 系列上运行 P2P 的能力并不一定表明它可以在另一种 GPU 类型或系列上运行，即使在相同的系统/设置中也是如此。GPU P2P 支持的最终决定因素是提供的工具，这些工具可以通过cudaDeviceCanAccessPeer. P2P 支持也会因系统和其他因素而异。此处的任何陈述均不保证任何特定设置中的任何特定 GPU 都支持 P2P。