python - 如何找到 SVM 的支持向量？

Question

我正在使用 liblinear 库在我的数据上训练线性 SVM。我可以访问训练模型的每个类别的权重。但我需要弄清楚哪些训练实例充当了支持向量。

liblinear 库似乎没有将这些向量作为模型属性提供。而且我似乎无法弄清楚如何手动找到它们。如果我有训练数据并且我有定义超平面的权重，我将如何找到这些支持向量？

Answer 1

您可以使用 获取支持向量clf.support_vectors_。

绘制支持向量：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# we create 40 separable points
np.random.seed(0)
X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
Y = [0] * 20 + [1] * 20

# fit the model
clf = svm.SVC(kernel='linear', C=1)
clf.fit(X, Y)

# get the separating hyperplane
w = clf.coef_[0]
a = -w[0] / w[1]
xx = np.linspace(-5, 5)
yy = a * xx - (clf.intercept_[0]) / w[1]


margin = 1 / np.sqrt(np.sum(clf.coef_ ** 2))
yy_down = yy - np.sqrt(1 + a ** 2) * margin
yy_up = yy + np.sqrt(1 + a ** 2) * margin

plt.figure(1, figsize=(4, 3))
plt.clf()
plt.plot(xx, yy, 'k-')
plt.plot(xx, yy_down, 'k--')
plt.plot(xx, yy_up, 'k--')

plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80,
            facecolors='none', zorder=10, edgecolors='k')
plt.scatter(X[:, 0], X[:, 1], c=Y, zorder=10, cmap=plt.cm.Paired,
            edgecolors='k')

plt.axis('tight')
x_min = -4.8
x_max = 4.2
y_min = -6
y_max = 6

XX, YY = np.mgrid[x_min:x_max:200j, y_min:y_max:200j]
Z = clf.predict(np.c_[XX.ravel(), YY.ravel()])

# Put the result into a color plot
Z = Z.reshape(XX.shape)
plt.figure(1, figsize=(4, 3))
plt.pcolormesh(XX, YY, Z, cmap=plt.cm.Paired)

plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)

plt.xticks(())
plt.yticks(())

plt.show()

Answer 2

让我假设我们在谈论libsvm而不是sklearn svc。

答案可以在LIBLINEAR FAQ中找到。简而言之，你不能。您需要修改源代码。

问：我怎么知道哪些训练实例是支持向量？

一些 LIBLINEAR 求解器会考虑原始问题，因此在训练过程中不会获得支持向量。对于对偶求解器，我们仅输出原始权重向量 w，因此模型中不存储支持向量。这与 LIBSVM 不同。

要知道支持向量，您可以修改 linear.cpp 的 solve_l2r_l1l2_svc() 中的以下循环以打印出索引：

    for(i=0; i<l; i++)
    {
        v += alpha[i]*(alpha[i]*diag[GETI(i)] - 2);
        if(alpha[i] > 0)
            ++nSV;
    }

请注意，在调用此子例程之前，我们将同一类中的数据分组在一起。因此，您的训练实例的顺序已更改。在使用 liblinear 之前，您可以对数据进行排序（例如，正例在负例之前）。那么索引将是相同的。