pytorch - 我可以使用自动转换（自动混合精度）加速 PyTorch 中的推理吗？

Question

PyTorch 中 autocast的文档（另见此）仅讨论培训。如果我也使用自动转换进行推理，它会加快速度吗？

Answer 1

是的，它可以（但在某些情况下可能不会）。

您正在处理精度较低的数据（例如float16vs float32）。在这种情况下，您的程序必须读取和处理更少的数据。

这可能有助于缓存局部性和特定于硬件的软件（例如，如果使用 CUDA，则为张量核心）