machine-learning - 误差和残差之间的确切区别是什么？

Question

因为我在想的是残差=（实际 - 预测）。让我们采用线性回归实际函数：

y= mx+c+error，我们在预测中得到的函数y=mx+c是

最小化 RSS。那么残差只不过是错误，那么为什么这两个术语被描述为不同的。

如果我错了，请纠正我。

Answer 1

出于所有实际目的，在机器学习环境中，这两个术语被视为同义词。

术语“残差”是由于统计线性回归的起源；由于统计学中的术语“误差”具有（具有）不同的含义，因此在今天的机器学习中，需要一个不同的术语来声明因变量的估计（预测）值与其观察值之间的差异，因此“残差” .

您可以在错误和残差的 Wikipedia 条目中找到更多详细信息（注意复数）；引用：

在统计和优化中，误差和残差是统计样本元素的观测值与其“理论值”的偏差的两个密切相关且容易混淆的度量。观测值的误差（或扰动）是观测值与感兴趣量（例如总体均值）的（不可观测的）真实值的偏差，观测值的残差是观察值和感兴趣量的估计值（例如，样本均值）。这种区别在回归分析中最为重要，其中的概念有时称为回归误差和回归残差以及它们导致学生化残差概念的地方。

请记住，以上来自统计领域；在 ML 上下文中，我们使用术语“误差”（单数）来表示预测值和观察值之间的差异，而术语“残差”实际上几乎从未使用过......

Answer 2

误差：是与预期值的差值（基于总体）。

残差：是对不可观察统计误差的估计。您可以将残差视为对误差的估计。

基本上，残差是您在估计模型后实际可以处理的。