machine-learning - 机器学习和m估计

Question

我正在研究一个机器学习问题，并且我的数据中有一些异常值，并希望对其进行平滑处理。我读了一些关于使用 m-estimate 解决此类问题的内容。我在 Web 和 stackoverflow 上都进行了详尽的搜索，但找不到一个很好的例子。有人可以建议一些资源，我可以在其中阅读有关此主题的更多信息吗？

谢谢！

Answer 1

如果我没记错的话，M-estimator 源自 Huber 的工作。他研究了使估计器稳健的方法。然而，为了衡量稳健性，我们考虑了一种非常特定类型的稳健性。它被称为“细分点”，简单来说就是异常值与该方法可以处理的点的总数相比的百分比。又多了一个异常值，它就崩溃了。

请注意，这种类型的鲁棒性与计算机视觉中的鲁棒性完全不同。在计算机视觉中，异常值可能并不多，但它们可能会合谋（以结构化点的形式）分解最稳健的估计量。出于这个原因，在计算机视觉中，您将遇到Hough 变换和RANSAC来执行稳健的线估计。

此外，一种对异常值非常有弹性的 M 估计器是一种 M 估计器，它限制了分配给极端异常值的值。这些是所谓的重新下降 M 估计量。它们非常稳健，因为极端异常值（称为gross outliers）的权重为零，或者换句话说，在回归中根本没有考虑在内。

如果你想知道单个异常值的影响，我挑战你编写一个简单的线性最小二乘八度程序。或者，如果您认为它更容易，则可以使用总最小二乘程序（您可以只进行奇异值分解并且svd是内置的）。