r - 使用 kernlab 的异常支持向量

Question

以下代码应使用包中的ksvm函数创建支持向量分类器（具有线性内核的 SVM） kernlab：

library(kernlab)
set.seed(1)
x <- rbind(matrix(rnorm(10 * 2, mean = 0), ncol = 2),
           matrix(rnorm(10 * 2, mean = 2), ncol = 2))
y <- c(rep(-1, 10), rep(1, 10))
svc <- ksvm(x, y, type = "C-svc", kernel = "vanilladot")
plot(svc, data = x)

结果图：

如果我的理解是正确的，黑色的形状是支持向量，它们是位于边距内部或边界上的数据点。

那么最上面的黑点是怎么回事？有三个更接近决策边界的空心点（因此不是支持向量）。（两个在附近，很容易看到。除非放大图片，否则很难看到第三个，但它是最右边的那个。）

要么这里的实现中有一个错误，要么我错过了一些关于它应该如何工作的概念。有什么见解吗？

score 2 · Accepted Answer

你的结果没有问题。6 个支持向量确实最接近您的决策面（即您的情况下的线）。我承认你展示的情节中的阴影看起来有点奇怪。这可能是光学人工制品吗？

svm让我们使用从库中重现您的结果e1071（因为我比 with 更熟悉e1071）kernlab。

这是您的示例数据。

# Sample data
set.seed(1)
x <- rbind(matrix(rnorm(10 * 2, mean = 0), ncol = 2),
           matrix(rnorm(10 * 2, mean = 2), ncol = 2))
y <- c(rep(-1, 10), rep(1, 10))
df <- data.frame(x = x, y = as.factor(y));

让我们svm用作使用线性内核的分类机。scale = FALSE确保数据不会被缩放。

library(e1071);
fit <- svm(y ~ ., data = df, kernel = "linear", type = "C-classification", scale = FALSE);
fit;
#
#Call:
#svm(formula = y ~ ., data = df, kernel = "linear", type = "C-classification",
#    scale = FALSE)
#
#
#Parameters:
#   SVM-Type:  C-classification
# SVM-Kernel:  linear
#       cost:  1
#      gamma:  0.5
#
#Number of Support Vectors:  6

我们绘制决策面和支持向量 (SV)。
```
plot(fit, df);
```
SV 由x符号标记。您可以清楚地看到 SV 如何位于离分离决策线最近的位置。

我们还可以提取决策线的参数（即它的法向量），手动绘制决策线和数据：

# Normal vector and offset
w <- t(fit$coefs) %*% fit$SV
b <- fit$rho;

# Generate data for the decision line
x.1 <- seq(min(df[, 1]), max(df[, 1]), length.out = 20);
x.2 <- (b - w[1] * x.1) / w[2];
df.h <- data.frame(x.1 = x.1, x.2 = x.2);

# Plot
ggplot(df, aes(x.2, x.1)) +
    geom_point(aes(colour = y), size = 2) +
    geom_line(data = df.h, aes(x = x.2, y = x.1), linetype = 2)

r - 使用 kernlab 的异常支持向量

1 回答 1

Related

Reference