deep-learning - 量化模型的 QAT 输出节点具有相同的最小最大范围

Question

最近，我在 tf1.x 上进行了量化感知训练，以将模型推送到 Coral Dev Board。但是，当我完成模型训练后，为什么我的 2 个输出假量化的最小最大值是相同的？

当一个人的最大目标是 95 和一个是 2pi 时，它应该有所不同吗？

Answer 1

我已经弄清楚了问题所在。当模型的那部分没有真正训练过 QAT 时，就会出现问题。这发生在训练时以某种方式忘记 QAT 的输出节点。-6 和 6 值来自 tf1.x 量化的默认源，如此处所述

为了克服这个问题，我们应该提供一些操作来触发输出节点的 QAT。在我的回归案例中，我在模型中添加了一个虚拟操作：tf.maximum(output,0) 来制作节点 QAT。如果您的输出严格介于 0-1 之间，则在输出处应用“sigmoid”激活而不是 relu 也可以解决问题。