我想知道 SVM 性能对其参数的敏感程度。它在反向传播中是否敏感？SVM 是稳定的分类器吗？你能给我介绍一些论文吗？
谢谢！
问问题
127 次
1 回答
1
SVM 中有几个概念对于理解它的脆弱程度很重要：
Margin-based 只有几个点用于分隔您的类：支持向量。这意味着您使用“边界案例”来分隔您的数据。这样做的原因很简单。它对应于将所有不是支持向量的点的权重设置为零。这是对稀疏性的考虑. 很多零意味着你必须做更少的乘法。如果数据是线性可分的，则只能以最大边距绘制一条线，因此不涉及任何参数。因此对参数也没有敏感性。在某些高维空间中的可分离性的重要情况下，情况并非如此。内核，例如高斯内核，带有用于方差的常用 σ 参数。内核越复杂，分离就越尴尬（参见这篇博文）。
不可分离的类 对于不可分离的类，必须发明一些东西才能再次得到正确的问题。对于几何直觉，SVM 分类器中的对偶和几何论文很有趣。它将问题可视化为围绕数据点的一个缩小的凸包，这样两个类之间又有一个可分离的平面。这是扩大边距（通过软化）以允许合并“不适当”点的双重作用。如何处理“不匹配”会导致（可调）参数。例如，很容易将一个数据点可视化到另一个类的区域很远。如果数据是这样的，它可能会导致您考虑稳健性关于如何合并松弛变量或函数。这通常包含在“错误分类惩罚”C中。
如果你真的想知道支持向量机的假设是什么，搜索贝叶斯解释通常是有益的。不过要小心，它们可能只是将铰链损失更改为最小二乘，实际上描述了与普通 SVM 完全不同的东西。我推荐的论文是支持向量机的贝叶斯方法：来自 Sollich 的证据和预测类概率。
于 2014-01-26T17:50:41.387 回答