machine-learning - 为什么均方误差实际上是“平方”的，只有一个“绝对值”或模数函数才能完成工作？

Question

成本函数也可以通过许多其他方法变为正数，最简单的存在abs(x)或模函数，或者只是x^4，这在计算上是昂贵的。为什么只有正方形？

Answer 1

它并不总是“唯一的正方形”。例如分位数回归使用abs(error)，Huber 损失结合了 L1 和 L2 损失，还有其他选项（例如相对误差或对数误差）。但error^2有一些优点：

• error^2给出了最直观的解决方案，因为sum(x-a) wherex是一个向量并且a是变量参数被 最小化a=mean(x)，并且 mean 是一个非常有意义的统计量。
• 这个解决方案 ,mean(x)比计算更容易找到，例如median(x)( 的最小化器sum(abs(error))，或 的最小化sum(error^4)器。这在我们进行回归时尤其重要 - 也就是说，不仅估计 的平均值，y而且估计y条件 的平均值x，这可能是一个复杂的功能。
• error^2最关心大错误，这有时是你想要的——错误越大，你就越关心它。
• sum(error^2)如果错误被假定为正态，则它是似然函数的转换- 并且正态错误在许多应用中都很常见，并且得到了统计理论的充分支持。如果您最小化平方误差和，您就可以最大化可能性。