deep-learning - 深度学习，Loss不减

Question

我尝试使用具有 20 个类的训练集来微调预训练模型。需要提到的重要一点是，尽管我有 20 个类，但一个类包含 1/3 的训练图像。这是我的损失没有减少并且测试准确率接近 30% 的原因吗？

谢谢你的任何建议

Answer 1

我有类似的问题。我通过增加神经网络权重初始值的方差来解决它。这用作神经网络的预处理，以防止权重在反向传播期间消失。

我从 Jenny Orr 教授的课程中看到了神经网络讲座，发现它非常有用。（刚刚意识到 Jenny 早年与 Yann LeCun 和 Leon bottou 共同撰写了许多关于神经网络训练的论文）。

希望能帮助到你！

Answer 2

是的，您的网络很可能过度拟合不平衡标签。一种解决方案是您可以对其他标签执行数据增强以平衡它们。例如，如果您有图像数据：您可以进行随机裁剪、进行水平/垂直翻转，以及各种技术。

编辑：

检查是否过度拟合不平衡标签的一种方法是计算网络预测标签的直方图。如果它高度偏向不平衡类，您应该尝试上述数据增强方法并重新训练您的网络，看看是否有帮助。