machine-learning - 切点处的解是最优解吗？

Question

根据我从这篇文章的理解，蓝色圆圈是水平曲线，蓝点是最小化成本函数的最优解。黄色圆圈是 L2 范数约束。

我们需要的解决方案是尽可能地最小化成本函数并且同时在圈内的解决方案。意思是，解决方案是黄色圆圈和水平曲线之间的切点。

但是，我的问题是，如果切点处的 W 值没有完全最小化成本函数，这怎么可能是解决方案？只有蓝点是最小化成本函数的点。

Answer 1

如果没有约束，蓝点最小化成本函数。如果最小化受到 L2 范数的约束，则蓝点不能是解，因为它违反了约束。因此，点 w* 是解决方案。

使用 L2 约束的原因是我们试图最小化测试数据上的误差，而不是训练数据上的误差（即我们不直接对最小化损失函数感兴趣）。更简单的解决方案（具有更小的 L2 范数）往往过拟合更少，因此我们期望测试和训练误差之间的差距更小（这是可取的）。