2

在 CUDA 11.2 中引入设备链接时优化 (DLTO) 之前,确保前向兼容性相对容易,而无需过多担心性能差异。您通常只需为您通常针对的特定架构创建一个包含 PTX 的胖二进制文件,用于可能的最低架构和 SASS。对于任何未来的 GPU 架构,JIT 编译器随后会将 PTX 组装到针对特定 GPU 架构优化的 SASS 中。

然而,现在,对于 DLTO,我不太清楚如何确保前向兼容性并保持这些未来架构的性能。

假设我使用nvcc以下选项编译/链接应用程序:

编译

-gencode=arch=compute_52,code=[compute_52,lto_52]
-gencode=arch=compute_61,code=lto_61

关联

-gencode=arch=compute_52,code=[sm_52,sm_61] -dlto

这将创建一个包含 PTX 的胖二进制文件cc_52,LTO 中介用于sm_52sm_61,以及链接时间优化的 SASSsm_52sm_61(或者至少在使用cuobjdump -all无论如何转储生成的 fatbin 部分时似乎是这种情况)。

假设以上是正确的,当应用程序运行在更高版本的 GPU 架构(例如sm_70)上时会发生什么?JIT 编译器是否只是在cc_52不使用链接时优化的情况下组装 PTX(导致不太优化的代码)?或者它是否使用链接时间优化以某种方式链接 LTO 中介?有没有办法确定/指导 JIT 编译器在做什么?

4

1 回答 1

3

根据CUDA 论坛上的一位 NVIDIA 员工的说法,答案是“还没有”:

好问题。我们正在努力支持 JIT LTO,但在 11.2 中不支持。因此,在您在 JIT 时间给出的示例中,它将 JIT 每个单独的 PTX 到 cubin,然后执行 cubin 链接。这与我们一直为 JIT 链接所做的相同。但是我们应该在未来的版本中更多地支持 JIT LTO。

于 2021-05-17T07:48:43.873 回答