machine-learning - SVMlight - 找到权重向量的目的是什么？

Question

SVMlight网站（在常见问题解答中）提供了一个计算超车道权重向量的脚本。它说它“计算支持向量的加权和”。

这是什么意思？也就是脚本做了什么，这个权重向量的意义和用途是什么？

提前致谢！

Answer 1

在线性情况下，超平面总是可以用d+1数字来定义，其中 d 是输入空间的维度，而实际支持向量的数量可能要大得多。通过计算这个超平面（我们称之为 w），您可以获得更紧凑的模型，然后可以将其用于执行分类：

cl(x) = sgn(w'x + b)

其中 w' 是 w 的转座子

在内核化版本中事情变得更加棘手，因为 w 是特征空间投影的形式，它可能是未知的（或计算成本很高），因此无法获得此类对象的方程（因为它不再是输入空间中的超平面，而是 - 非常丰富的特征空间中的超平面）。

Answer 2

“支持向量是训练集的元素，如果移除，它们会改变分割超平面的位置。” 权重通过提供与超平面正交的向量的坐标来表示该超平面。“计算支持向量的加权和”在数学上意味着sign(w'*x +b)，当x是支持向量并且w'是权重向量的转置时， 的值为w'x+b0，它表示决策边界。当一个新的x到达时，sign(w'x+b)将确定它属于哪个类。

对于x训练样本中权重为 0 的样本，这意味着该样本对超平面没有贡献，将其x作为支持向量包含在内会增加分类误差，或者减少边际。

这是一个参考教程，其中包含大量数字以获取更多详细信息。