profiling - 在 CUDA 模式下使用 torch autograd profiler 解释 CPU 和 GPU 时间

Question

我正在尝试使用 torch.autograd.profiler 分析网络，我需要一些关于报告的 CPU 和 GPU 时间的解释。我假设时间几乎相等，因为 CPU 时间包括内核启动 + 执行的时间。但是，在尝试查找 CPU 和 GPU 时间之间的关系时，我发现不一致。

如下所示，有些操作报告的时间大致相同，有些操作报告的 CPU 时间大于 GPU 时间，有些报告的 CPU 时间小于 GPU 时间。有人可以解释一下时间上的差异。

1. OpName CPUTime GPUTime
2. relu 14.700us 15.936us
3. 子 112.447us 93.504us
4. 毫米 43.501us 46.912us
5. CatBackward 84.912us 84.704us

谢谢