两个问题:
根据 Nsight Compute,我的内核是计算受限的。相对于峰值性能的 SM 利用率百分比为 74%,内存利用率为 47%。但是,当我查看每个管道利用率百分比时,LSU 利用率远高于其他管道(75% 对 10-15%)。这不是表明我的内核受内存限制吗?如果计算和内存资源的利用率与管道利用率不对应,我不知道如何解释这些术语。
调度程序仅每 4 个周期发布一次,这是否意味着我的内核受延迟限制?人们通常根据计算和内存资源的利用率来定义它。两者之间有什么关系?
两个问题:
根据 Nsight Compute,我的内核是计算受限的。相对于峰值性能的 SM 利用率百分比为 74%,内存利用率为 47%。但是,当我查看每个管道利用率百分比时,LSU 利用率远高于其他管道(75% 对 10-15%)。这不是表明我的内核受内存限制吗?如果计算和内存资源的利用率与管道利用率不对应,我不知道如何解释这些术语。
调度程序仅每 4 个周期发布一次,这是否意味着我的内核受延迟限制?人们通常根据计算和内存资源的利用率来定义它。两者之间有什么关系?
在 CC7.5 GPU 上的 Nsight Compute
SM% 由 sm__throughput 定义,Memory% 由 gpu__compute_memory_throughtput 定义
sm_throughput 是以下指标的最大值:
gpu__compute_memory_throughput 是以下指标的最大值:
在您的情况下,限制器是 sm__inst_executed_pipe_lsu ,它是指令吞吐量。如果您查看sections/SpeedOfLight.py 延迟界限被定义为同时具有 sm__throughput 和 gpu__compute_memory_throuhgput < 60%。
某些指令流水线的吞吐量较低,例如 fp64、xu 和 lsu(因芯片而异)。管道利用率是 sm__throughput 的一部分。为了提高性能,选项包括:
产生故障
从 Nsight Compute 2020.1 开始,没有一个简单的命令行可以在不运行分析会话的情况下生成列表。现在,您可以使用并解析输出来收集一个吞吐量指标breakdown:<throughput metric>avg.pct_of_peak_sustained.elapsed
以获取子指标名称。
例如:
ncu.exe --csv --metrics breakdown:sm__throughput.avg.pct_of_peak_sustained_elapsed --details-all -c 1 cuda_application.exe
生成:
"ID","Process ID","Process Name","Host Name","Kernel Name","Kernel Time","Context","Stream","Section Name","Metric Name","Metric Unit","Metric Value"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","gpu__dram_throughput.avg.pct_of_peak_sustained_elapsed","%","0.38"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","l1tex__data_bank_reads.avg.pct_of_peak_sustained_elapsed","%","0.05"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","l1tex__data_bank_writes.avg.pct_of_peak_sustained_elapsed","%","0.05"
...
该关键字breakdown
可以在 Nsight Compute 部分文件中使用以扩展吞吐量指标。这在 SpeedOfLight.section 中使用。