machine-learning - 为什么 1-norm SVM 比 2-norm SVM 更稀疏？

Question

与在 SVM 的相同成本函数中使用 2 范数权重相比，我们如何通过在成本函数中使用 1 范数权重来增加稀疏性。

对于 1 范数Minimize ||w||_1
：成本函数 - 对于 2 范数：成本函数 -Minimize ||w||_2

它与LP-SVM有关吗？

Answer 1

查看 l_1 损失对某个参数的偏导数。

相对于重量的增加，损失是恒定的。所以增加的重量需要抵消一些固定的误差，不管重量已经有多小。

比较一下 l2 损失，其中惩罚与当前参数的大小成比例。所以当它接近 0 时，它只需要有一个无限小的误差减少来抵消正则化惩罚。

Answer 2

请注意，||w||_2 < ||w||_1 对于相同的 w 当 0 < w < 1（通常发生）时，因为 L2 范数平方权重。

这就是为什么 ||w||_1 是一个更难的约束，它会导致稀疏向量。

它不是特定于 SVM，许多算法使用 L1 或 L2 正则化。