1

我们可以使用不同的 CPU 架构（和后端）来训练（校准）和推断量化的 pytorch 模型吗？

我发现的有关此主题的唯一帖子指出：

静态量化必须在与您的部署目标具有相同架构的机器上执行。如果您使用 FBGEMM，则必须在 x86 CPU 上执行校准过程；如果您使用的是 QNNPACK，则需要在 ARM CPU 上进行校准

但是官方文档中没有关于此的内容。

4

1 回答 1

0

您发布的链接中的信息是正确的。在这两种情况下，您都应该使用相同的后端。官方文档中也提到了这一点-

“在准备量化模型时，有必要确保 qconfig 和用于量化计算的引擎与执行模型的后端相匹配。”

在这里找到它

https://pytorch.org/docs/stable/quantization.html

于 2021-08-13T16:46:43.190 回答