我正在使用在 Tensorflow 中实现的卷积神经网络 (cnn) 进行图像分割。我有两个类，我使用交叉熵作为损失函数和 Adam 优化器。我正在用大约 150 张图像训练网络。
在训练过程中，我看到了这种周期性模式，训练损失会下降，直到它有几个高值，然后它迅速下降到之前的水平。
在验证损失中也可以观察到类似的模式，验证损失会在几个时期内周期性下降，然后回到之前的水平。
通过降低学习率，这种模式不再可见，但损失更高，联合拦截（IoU）要低得多。
编辑：我发现我有两次带有两个略有不同标签的图像。我还注意到这种模式与 drop_out 有关，在训练图像被学习到 100% 之后，drop_out 会导致在某些迭代中训练误差增加很多，这会导致峰值。有人在辍学时经历过这样的事情吗？
有人见过这样的模式吗？这可能是什么原因？