machine-learning - 为什么向线性回归添加特征会降低准确性？

Question

我是 ML 新手，正在参加 kaggle 比赛来学习一点知识。当我将某些特征添加到我的数据集时，准确性会降低。

为什么增加成本的功能不只是加权为零（忽略）？是因为非线性特征会导致局部最小解决方案吗？

谢谢。

Answer 1

如果您谈论的是线性回归分类器的训练错误，那么添加特征将始终减少您的错误，除非您有错误。就像你说的，这是一个凸问题，全局解决方案永远不会更糟，因为你可以将权重设置为零。

但是，如果您谈论的是测试错误，那么过度拟合将是添加功能的大问题，而且您肯定会观察到这一点。

Answer 2

我无法发表评论，因此发布为答案。

@agilefall：你不一定错。如果您根据预测输出和实际输出之间的相关性来衡量准确性，那么随着您添加更多功能，准确性可能会降低。线性回归对此不做任何保证。