0

我们正在研究将量化感知训练用于一个研究项目,以确定训练期间量化对收敛速度和运行时间的影响。尽管我们还没有完全相信这是正确的工具。您能否澄清以下几点:1)如果在量化意识训练期间对层进行了量化,这意味着输入和权重被量化,并且包括激活函数在内的所有操作都被量化,然后在返回之前,将输出反量化到精度与下一层兼容。这种理解正确吗?2)张量板分析器兼容性?3) 原则上是否进行量化意识训练,在您的一般经验中导致训练过程中的加速,或者这是否因为它仅仅是一个模拟而不可能?4)您能否向我们指出有关如何将自定义量化器和数据类型添加到 tensorflow 以使其与 GPU 兼容的资源?

非常感谢您的帮助!

4

1 回答 1

0

在做了一些研究之后,QAT 并没有加速训练,而只是为训练后量化准备模型。然而,MuPPET 是一种实际上通过量化加速训练的算法。

于 2020-07-31T15:13:49.437 回答