问题标签 [optimizer-deeplearning]

我正在尝试使用相同的数据集复制这篇论文。但不知何故，他们训练并获得了（80%）比我通常（65%）更好的准确率。我的数据不平衡 300:500（填充词：非填充词）。该模型倾向于在前几个时期过拟合。

该模型

我尝试过的更新：

将 RMSprop 等优化器更改为 adam 和 SGD 并没有帮助。

学习率的变化没有帮助。

模型

模型

我正在使用 MobilenetV2 对个人数据集进行迁移学习的量化。我尝试过两种方法：

i.) 仅训练后量化：它工作正常，并且在 224,224 维上推理 60 幅图像的平均时间为 0.04 秒。

ii.) 量化感知训练 + 训练后量化：它比仅训练后量化产生更高的准确性，但对于相同的 60 张图像产生 0.55 秒的更高推理时间。

1.) 只有训练后量化模型（.tflite）可以通过以下方式推断：

2.) 量化感知训练+训练后量化可以通过以下代码推断。不同之处在于它在这里要求 float32 输入。

我进行了很多搜索，但没有得到任何关于此查询的回复。如果可能的话，请帮助解释为什么在量化感知训练+训练后量化的情况下，与仅训练后量化相比，我的推理时间会变高？

我知道反向传播计算成本函数相对于模型参数（权重和偏差）的导数。但是，我需要确保反向传播不会更新权重和偏差；相反，它使用优化器来更新权重和偏差，如 Adam、梯度下降等

提前致谢