cuda - 使用NCCL时如何指定Nvlink类型

Question

在 DGX-1 系统（8xV100）中，有两种类型的 NVlink：NVlink-V1 和 NVlink-V2，

我们有什么方法可以明确指定我们用于 p2p 和集体通信的 NVlink 类型？

Answer 1

一台机器中没有两种类型的 NVLINK。这里的区别在于绑定在一起的链接数量。

NV1 名称表示这些 GPU（在该连接路径上）具有单链路连接。

NV2 名称表明这些 GPU 具有双链路（即两倍带宽）连接性。两个链接被“绑定”在一起。

你不能选择一个或另一个，这是不可控的，它是硬件设计的功能。

如果 NCCL 选择在具有 NV2 连接的两个 GPU 之间传输数据，它将以两倍的速度传输。

此处没有任何内容可供您设置或控制。

使用 NCCL 时的一般原则是您指定要执行的集合体，NCCL 将使用现有结构尽快完成该集合体。