python - 无论使用何种优化器，在训练 Keras 模型时，验证损失都会随机反弹

Question

我正在对 200 张图像重新训练 InceptionV3 模型，并且正在使用 Adam 优化器：

opt = Adam(lr=0.0001, decay=0.0001 / 100)

我注意到损失反弹特别是验证。我认为这取决于学习率，正如我在一些答案中看到的那样迁移学习 - Val_loss 奇怪的行为，以及为什么卷积神经网络中的损失可能很低，但准确度也很低？他们没有帮助。

所以我使用了 RMSprop，但我有同样的行为。以下是性能的样子：

有什么建议为什么我会遇到这种情况以及如何解决它？

Answer 1

看看你的图表，我认为网络实际上并没有学到任何东西。

我建议您查看以下内容：

1. 图像中是否有任何 0 输入。

2. 梯度是太大还是太小。

3. 跨多个批次的梯度是否几乎恒定。

4. 所有图像的比例是否相同。

5. 类是否正确编码为 one-hot 向量。