5

我从math.stackexchange.com交叉发布了这个，因为我没有得到任何反馈，而且这对我来说是一个时间敏感的问题。

我的问题与支持向量机中超平面的线性可分性有关。

根据维基百科：

...形式上，支持向量机在高维或无限维空间中构造一个超平面或一组超平面，可用于分类、回归或其他任务。直观地说，与任何类的最近训练数据点的距离最大的超平面（所谓的功能边距）实现了良好的分离，因为一般来说，边距越大，分类器的泛化误差越低。

超平面对类的线性分离直观地对我来说是有意义的。我想我理解二维几何的线性可分性。但是，我正在使用流行的 SVM 库 (libSVM) 实现 SVM，并且在处理数字时，我无法理解 SVM 如何在类之间创建曲线，或者将类别 1 中的中心点包含在圆形曲线中如果 n 维空间 V 中的超平面是维度 n - 1 的“平面”子集，则被类别 2 中的点包围，或者对于二维空间 - 一维线。

这就是我的意思：

二维二进制 SVM 的循环封闭类分离

那不是超平面。那是圆形的。这是如何运作的？或者 SVM 内部的维度是否比二维 2D 输入特征多？

此示例应用程序可在此处下载。

编辑：

感谢您的全面回答。所以 SVM 可以通过使用核函数很好地分离奇怪的数据。在将数据发送到 SVM 之前对数据进行线性化是否有帮助？例如，我的一个输入特征（一个数值）有一个转折点（例如 0），它恰好适合类别 1，但高于和低于零则适合类别 2。现在，因为我知道这一点，它会帮助分类发送SVM这个特征的绝对值？

4

7 回答 7

12

正如 mokus 所解释的，支持向量机使用核函数将数据隐式映射到线性可分的特征空间：

SVM 将一个特征空间映射到另一个特征空间

不同的核函数用于各种数据。请注意，图片中的转换会添加一个额外的维度（特征），尽管此特征从未在内存中具体化。

（来自美国苏塞克斯郡的 Chris Thornton 的插图。）

于 2010-10-22T14:18:19.723 回答
9

观看此YouTube 视频，该视频说明了线性不可分点的示例，当映射到更高维度时，这些点可被平面分开。

替代文字

于 2010-10-23T03:34:55.167 回答
3

我对支持向量机并不十分熟悉，但从我的研究中回忆起，它们经常与“内核函数”一起使用——本质上，它是标准内积的替代品，可以有效地使空间非线性化。这大致相当于将非线性变换从您的空间应用到应用线性分类器的某个“工作空间”，然后将结果拉回您的原始空间，分类器使用的线性子空间不再是线性的。

维基百科文章在“非线性分类”小节中确实提到了这一点，并附有指向http://en.wikipedia.org/wiki/Kernel_trick的链接，该链接更广泛地解释了该技术。

于 2010-10-22T14:00:21.550 回答
2

这是通过应用所谓的 [Kernel Trick] ( http://en.wikipedia.org/wiki/Kernel_trick ) 来完成的在你的情况下），它被投射到一个更高的维度，这将是可分离的。应用内核函数（可以是非线性的）来修改您的特征空间。然后在这个特征空间中执行所有计算（也可能是无限维度的）。

输入中的每个点都使用此核函数进行转换，并且所有进一步的计算都将执行，就好像这是您的原始输入空间一样。因此，您的点可能在更高维度（可能无限）中是可分离的，因此更高维度中的线性超平面在原始维度中可能不是线性的。

举一个简单的例子，考虑 XOR 的例子。如果您在 X 轴上绘制 Input1，在 Y 轴上绘制 Input2，则输出类将是：

  1. 0类：（0,0），（1,1）
  2. 1类：（0,1），（1,0）

如您所见，它在二维中不是线性可分的。但是，如果我在 3-D 中采用这些有序对，（只需在 3-D 中移动 1 个点）说：

  1. 0类：（0,0,1），（1,1,0）
  2. 1类：（0,1,0），（1,0,0）

现在你可以很容易地观察到在 3-D 中有一个平面来线性地分离这两个类。

因此，如果您将输入投影到足够大的维度（可能是无限的），那么您将能够在该维度中线性地分离您的类。

这里要注意的重要一点（也许我也会回答你的另一个问题）是你不必自己制作内核函数（就像我在上面做的那样）。好消息是内核函数会自动处理您的输入并找出如何“线性化”它。

于 2013-02-19T22:24:41.940 回答
1

对于二维空间中给出的问题中的 SVM 示例，设 x1、x2 为两个轴。您可以有一个转换函数 F = x1^2 + x2^2 并将这个问题转换为一维空间问题。如果您仔细观察，您会看到在转换后的空间中，您可以轻松地线性分离点（F 轴上的阈值）。这里变换的空间是[F]（一维）。在大多数情况下，您将增加维度以获得线性可分的超平面。

于 2011-11-27T21:23:51.377 回答
0

SVM 集群

http://www.biomedcentral.com/1471-2105/8/S7/S18/figure/F4

高温高压

于 2010-10-22T14:25:44.573 回答
0

我对上一个问题的回答可能会对这种情况下发生的事情有所了解。我给出的例子是非常人为的，并不是真正的 SVM 中发生的事情，但它应该给你直觉。

于 2010-10-22T18:07:13.197 回答