machine-learning - 逻辑回归大边缘分类器是什么？

Question

据我了解 SVM 中的大余量效应：

例如，让我们看一下这张图片：

在通过正则化项的 SVM 优化目标中，我们试图找到一组参数，其中（参数向量）theta 的范数很小。因此，我们必须找到较小的向量 theta，并且正样本 (p) 在该向量上的投影较大（以补偿较小的 Theta 向量的内积）。同时大 p 给了我们很大的利润。在这张图片中，我们找到了理想的 theta，以及带有它的大 p（和大边距）：

我的问题：

为什么逻辑回归不是大边缘分类器？在 LR 中，我们以相同的方式最小化正则化项中的 Theta 向量。也许我不明白一些事情，如果是这样的话 - 纠正我。

我使用了 Coursera ml 课程中的图像和理论。

Answer 1

逻辑回归是一个很大的边际损失。Lecun 在他的一篇或多篇关于基于能量的学习的论文中提到了这一点。

要看到 LR 确实产生了边距，更容易查看 softmax 损失（相当于 LR）。

softmax损失中有两个术语：L(z)=z_{true} - log(\sum_i \exp(z_i))

这意味着示例与其真实决策边界的距离需要超过与所有决策边界距离的对数和。

因为softmax函数是一个概率分布，log softmax最大可以为0，所以log softmax在softmax函数下真实类的概率接近1时返回一个接近0的负值（即惩罚）。