0

据我了解，如果 1. 收敛过快 2. 验证损失不断增加，则模型肯定是过拟合的

同样，据我所知，除非您使验证损失收敛到与训练损失相似的趋势，否则无法解决此问题，因此您可以进行更多的数据增强等。

然而，我读过的很多论文都声称 10 倍是稳健性的标志，表明模型没有过度拟合。但是，当我重新创建这些实验时，我可以说它们确实过拟合，无论它们是否显示出强大的准确性。此外，许多人似乎认为他们只会增加 10 倍，这很好。同样在评论中，他们只要求进行 10 倍的实验来解决过度拟合问题。

我的理解错了吗？是否有希望验证损失不会收敛但会上升？或者除了验证损失之外还有其他措施吗？

4

1 回答 1

1

我假设，通过 10 倍测试，您的意思是 10 倍交叉验证。

通常，交叉验证仅对非常小的数据集有用，即少于 1000 个样本。

过度拟合意味着你的模型的复杂性比必要的要高得多。过度拟合的一个典型标志是非常高的学习准确度与低验证准确度。

因此，使用 10 折交叉验证可能无法防止过度拟合本身。考虑两个例子：

一、学习准确率99.8%，10折交叉验证准确率70%。

二、学习准确率77%，10折交叉验证准确率70%。

在这两种情况下，相同的 10 倍交叉验证导致 70% 的准确度。然而，第一种情况显然是过拟合的，而第二种情况则不是。

我希望，这可以澄清情况。

于 2019-03-21T15:53:29.067 回答