1

在python中使用libsvm的两个问题：

  1. 我怎么知道问题是否可行？
  2. 如何获得原始变量（w 和偏移量 b）？

我使用一个简单的示例，考虑 2D 空间中的 4 个训练点（由 * 表示）：

*----*
|    |
|    |
*----*

我使用 C_SVC 公式和线性内核训练 SVM，我将 4 个点分类为两个标签 [-1, +1]。

例如，当我这样设置训练点时，它应该找到一个分离的超平面。

{-1}----{+1}
 |       |
 |       |
{-1}----{+1}

但是对于这个非线性问题，它应该找不到分离的超平面（因为线性核）。

{+1}----{-1}
 |       |
 |       |
{-1}----{+1}

我希望能够检测到这种情况。

第二个示例的示例代码：

from svmutil import *
import numpy as np

y = [1, -1, 1, -1]
x = [{1:-1, 2 :1}, {1:-1, 2:-1}, {1:1, 2:-1}, {1:1, 2:1}]

prob  = svm_problem(y, x)
param = svm_parameter()
param.kernel_type = LINEAR
param.C = 10

m = svm_train(prob, param)

样本输出：

optimization finished, #iter = 21
nu = 1.000000
obj = -40.000000, rho = 0.000000
nSV = 4, nBSV = 4
Total nSV = 4
4

1 回答 1

2

如线性内核 SVM 上的libsvm 指南中所述，对 C 的指数网格运行交叉验证。如果训练集的准确率永远无法接近 100%，则意味着线性模型对数据的偏差太大，这反过来意味着线性假设是错误的（数据不是线性可分的）。

顺便提一句。测试集准确度是对模型泛化能力的真实评价，但它衡量的是偏差和方差的总和，因此不能直接用于衡量偏差。训练集和测试集精度之间的差异衡量模型的方差或过度拟合。有关错误分析的更多信息，请参阅这篇总结了ml-class在线课程的实用技巧和窍门的博客文章。

于 2012-04-09T07:24:24.917 回答