algorithm - 感知器学习算法：算法的收敛证明，为什么 ||w*|| 等于 1 还是这个条件是必要的？

Question

我正在研究感知学习，并通过以下链接学习算法的收敛证明（https://www.cse.iitb.ac.in/~shivaram/teaching/cs344+386-s2017/resources/classnote-1。 pdf )：作为假设 1（线性可分离性），如图所示。我不知道为什么 ||w*||=1 或者为什么这个条件是必要的，你能帮我理解吗？谢谢！

Answer 1

规范假设只是为了分析的简单性，很容易证明该假设是不必要的，因为放弃它实际上意味着它。

让我们假设存在 w (||w|| = Z > 0), gamma>0 使得

yi(<w, xi>) > gamma

然后对于相同的伽玛：

yi(<Zw/||w||, xi>) > gamma

因此

|Z| yi(<w/||w||, xi>) > gamma

所以对于 w* = w/||w|| （所以 ||w*||=1），并且 gamma* = gamma / |Z| > 0

yi(<w*, xi>) > gamma*

这证明了如果存在任何 w（具有任意范数 Z）和 gamma，那么也存在范数为 1 的 w*（我们只需将原始 gamma 除以 Z）和 gamma*=gamma/Z。

这样做的唯一原因是使证明中的常数更简单，但假设本身是多余的。