在 CUDA 11.2 中引入设备链接时优化 (DLTO) 之前,确保前向兼容性相对容易,而无需过多担心性能差异。您通常只需为您通常针对的特定架构创建一个包含 PTX 的胖二进制文件,用于可能的最低架构和 SASS。对于任何未来的 GPU 架构,JIT 编译器随后会将 PTX 组装到针对特定 GPU 架构优化的 SASS 中。
然而,现在,对于 DLTO,我不太清楚如何确保前向兼容性并保持这些未来架构的性能。
假设我使用nvcc
以下选项编译/链接应用程序:
编译
-gencode=arch=compute_52,code=[compute_52,lto_52]
-gencode=arch=compute_61,code=lto_61
关联
-gencode=arch=compute_52,code=[sm_52,sm_61] -dlto
这将创建一个包含 PTX 的胖二进制文件cc_52
,LTO 中介用于sm_52
和sm_61
,以及链接时间优化的 SASSsm_52
和sm_61
(或者至少在使用cuobjdump -all
无论如何转储生成的 fatbin 部分时似乎是这种情况)。
假设以上是正确的,当应用程序运行在更高版本的 GPU 架构(例如sm_70
)上时会发生什么?JIT 编译器是否只是在cc_52
不使用链接时优化的情况下组装 PTX(导致不太优化的代码)?或者它是否使用链接时间优化以某种方式链接 LTO 中介?有没有办法确定/指导 JIT 编译器在做什么?