algorithm - 感知器算法收敛的几何证明

Question

考虑到 Geoffrey Hinton 的感知器算法收敛证明，我有一个问题：Lecture Slides。

在幻灯片 23 上，它说：

每次感知器出错时，到所有这些慷慨可行的权重向量的平方距离总是至少减少更新向量的平方长度。

我的问题是我可以通过将可行向量向右移动来使距离减少任意小。看这里的描述：

那么，如果我可以使距离任意小，如何保证距离通过更新向量的平方长度（蓝色）缩小？

Answer 1

如果我正确地阅读了他的证明，有两个原因：

1. 这涉及一组可行向量，而不仅仅是一个。
2. 参考是到各个向量的平方距离之和。请注意，更新使新点远离棕色点（另一个可行向量）。
3. 移动一个向量将改变更新向量。

Answer 2

证明表明“平方距离”a^2 + b^2，而不是会导致问题的直线距离（欧几里得距离）。由于我们“垂直”更新“坏”权重向量，同时仍保持相同的“水平”距离，因此我们始终保证至少以更新向量的平方长度更接近慷慨可行的向量。我相信这应该推广到更多维度。如果我错了，请纠正我。