python - 第一个 epoch 后训练损失显着减少，验证损失不稳定

Question

我使用 EfficientNet-B0 作为连体网络中的子网，并使用对比损失作为图像相似性任务的损失函数。我的数据集非常大（27550 张图像用于训练），有 2 个类。在第一个 epoch 之后，训练损失显着减少，而验证损失不稳定。过拟合能这么早发生吗？还是我的数据有问题而令人困惑？这是我用 100 个 epoch 训练我的模型后得到的图表

Answer 1

首先，通过设置较低且可变的 learning_rate 来绘制训练和验证损失。这可能是因为更高的学习率。其次，我们都知道模型过拟合，当训练损失远小于测试损失时。通过使用 dropout、正则化和更深层次的模型（vgg、ResNet），您可以改进它。