33

这些是关于如何计算和减少机器学习中的过度拟合的问题。我认为许多机器学习新手都会有同样的问题，所以我试着用我的例子和问题说清楚，希望这里的答案可以帮助其他人。

我有一个非常小的文本样本，我正在尝试预测与它们相关的值。我已经使用 sklearn 来计算 tf-idf，并将它们插入到回归模型中进行预测。这给了我 26 个具有 6323 个特征的样本 - 不是很多。我知道：

>> count_vectorizer = CountVectorizer(min_n=1, max_n=1)
>> term_freq = count_vectorizer.fit_transform(texts)
>> transformer = TfidfTransformer()
>> X = transformer.fit_transform(term_freq) 
>> print X.shape

(26, 6323)

将 6323 个特征 (X) 和相关分数 (y) 的这 26 个样本插入到LinearRegression模型中，可以得到很好的预测。这些是使用留一法交叉验证获得的，来自cross_validation.LeaveOneOut(X.shape[0], indices=True)：

using ngrams (n=1):
     human  machine  points-off  %error
      8.67    8.27    0.40       1.98
      8.00    7.33    0.67       3.34
      ...     ...     ...        ...
      5.00    6.61    1.61       8.06
      9.00    7.50    1.50       7.50
mean: 7.59    7.64    1.29       6.47
std : 1.94    0.56    1.38       6.91

非常好！使用 ngrams (n=300) 而不是 unigrams (n=1) 会出现类似的结果，这显然是不对的。任何文本中都没有出现 300 个单词，因此预测应该失败，但它不会：

using ngrams (n=300):
      human  machine  points-off  %error
       8.67    7.55    1.12       5.60
       8.00    7.57    0.43       2.13
       ...     ...     ...        ...
mean:  7.59    7.59    1.52       7.59
std :  1.94    0.08    1.32       6.61

问题 1：这可能意味着预测模型过度拟合数据。我只知道这一点，因为我为我知道不能产生好的结果的 ngrams (n=300) 选择了一个极值。但如果我没有这方面的知识，你通常如何判断模型过度拟合？换句话说，如果使用了合理的度量（n=1），你怎么知道好的预测是过度拟合的结果，而模型只是运行良好？

问题 2：防止过度拟合（在这种情况下）以确保预测结果好坏的最佳方法是什么？

问题3：如果LeaveOneOut使用交叉验证，模型怎么可能过拟合得到好的结果？过度拟合意味着预测准确性会受到影响 - 那么为什么它不会影响对被遗漏文本的预测呢？我能想到的唯一原因：在主要为 0 的 tf-idf 稀疏矩阵中，文本之间有很强的重叠，因为有很多术语是 0 - 然后回归认为文本高度相关。

请回答任何问题，即使您不知道所有问题。谢谢！

4

1 回答 1

34

您通常如何判断模型过度拟合？

一个有用的经验法则是，当您的模型在其自己的训练集上的性能比在其保留验证集或交叉验证设置中的表现要好得多时，您可能会过度拟合。不过，这还不是全部。

我链接到的博客条目描述了一个测试过拟合的过程：绘制训练集和验证集误差作为训练集大小的函数。如果它们在图的右端显示出稳定的间隙，则您可能过度拟合。

防止过度拟合（在这种情况下）以确保预测结果好坏的最佳方法是什么？

使用保留的测试集。仅在您完全完成模型选择（超参数调整）后才对这个集合进行评估；不要训练它，不要在（交叉）验证中使用它。你在测试集上得到的分数就是模型的最终评价。这应该显示您是否不小心过度拟合了验证集。

[机器学习会议有时会像比赛一样设置，直到研究人员将最终模型交付给组织者之后才会将测试集提供给研究人员。同时，他们可以随意使用训练集，例如使用交叉验证测试模型。Kaggle做了类似的事情。]

如果LeaveOneOut使用交叉验证，模型怎么可能过拟合而得到好的结果？

因为您可以在此交叉验证设置中尽可能多地调整模型，直到它在 CV 中表现得几乎完美。

作为一个极端的例子，假设您已经实现了一个本质上是一个随机数生成器的估计器。您可以继续尝试随机种子，直到您找到一个在交叉验证中产生非常低错误的“模型”，但这并不是您找到了正确的模型。这意味着您已经过度适应交叉验证。

另见这个有趣的战争故事。

于 2012-09-03T22:06:01.153 回答