2

我正在训练一个 ResNet（CIFAR-10 数据集），训练准确率大部分（在 95% 的时期内）都在增加，但有时它会下降 5-10%，然后又开始增加。

这是一个例子：

Epoch 45/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0323 - acc: 0.9948 - val_loss: 1.6562 - val_acc: 0.7404
Epoch 46/100
40000/40000 [==============================] - 52s 1ms/step - loss: 0.0371 - acc: 0.9932 - val_loss: 1.6526 - val_acc: 0.7448
Epoch 47/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0266 - acc: 0.9955 - val_loss: 1.6925 - val_acc: 0.7426
Epoch 48/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0353 - acc: 0.9940 - val_loss: 2.2682 - val_acc: 0.6496
Epoch 49/100
40000/40000 [==============================] - 50s 1ms/step - loss: 1.6391 - acc: 0.4862 - val_loss: 1.2524 - val_acc: 0.5659
Epoch 50/100
40000/40000 [==============================] - 52s 1ms/step - loss: 0.9220 - acc: 0.6830 - val_loss: 0.9726 - val_acc: 0.6738
Epoch 51/100
40000/40000 [==============================] - 51s 1ms/step - loss: 0.5453 - acc: 0.8165 - val_loss: 1.0232 - val_acc: 0.6963

在此之后我退出了执行，但这是我的第二次运行，第一次发生了同样的事情，一段时间后它又回到了 99%。

批次是 128，所以我想这不是问题。我没有改变学习率或任何其他 Adam 参数，但我想这也不是问题，因为大多数时候准确性都在增加。

那么，为什么会发生这些突然下降呢？

4

1 回答 1

7

由于训练和验证的损失和准确性都增加了，看起来您的优化算法暂时超过了它试图遵循的损失函数的下坡部分。

记住梯度下降和相关方法计算一个点的梯度，然后使用它（有时还有一些额外的数据）来猜测移动的方向和距离。这并不总是完美的，有时它会走得太远并最终再次上坡。

如果你的学习率是激进的，你会时不时地看到这一点，但你可能仍然比使用较小的学习率更快地收敛。您可以尝试不同的学习率，但除非您的损失开始发散，否则我不会担心。

于 2017-11-24T01:16:05.590 回答