1

我知道svm模型需要将分类变量转换为虚拟变量的预处理。但是，当我使用e1071'ssvm函数来拟合具有未转换数据的模型时（请参阅train和test），不会弹出错误。我假设该函数会自动转换它们。

但是，当我使用转换后的数据（参见train2和test2）来拟合 svm 模型时，这个函数给了我不同的结果（如所示，p1并且p2不一样）。

谁能告诉我未转换的数据发生了什么？该函数是否只是忽略了分类变量，还是发生了其他事情？

library(e1071)
library(dummies)

set.seed(0)
x = data.frame(matrix(rnorm(200, 10, 10), ncol = 5))   #fake numerical predictors
cate = factor(sample(LETTERS[1:5], 40, replace=TRUE))  #fake categorical variables
y = rnorm(40, 50, 10)             #fake response

data = cbind(y,cate,x)
ind = sample(40, 30, replace=FALSE)
train = data[ind, ]
test = data[-ind, ]

#without dummy 
data = cbind(y,cate,x)
svm.model = svm(y~., train)
p1 = predict(svm.model, test)

#with dummy
train2 = cbind(train[,-2], dummy(train[,2]))
colnames(train2) = c('y', paste0('X',1:5), LETTERS[1:4])
test2 = cbind(test[,-2], dummy(test[,2]))
colnames(test2) = c('y', paste0('X',1:5), LETTERS[1:4])
svm.model2 = svm(y~., train2)
p2 = predict(svm.model2, test2)
4

2 回答 2

1

从文档中可以清楚地看出，它的处理方式至少略有不同，因此评论“如果预测变量包含因子，则必须使用公式接口来获得正确的模型矩阵。 ”。

个人预感差异与缩放有关（默认svm）。注意两者之间的区别...

> svm.model$x.scale$`scaled:center`
       X1        X2        X3        X4        X5 
10.091157  8.739654 10.395121  7.856475 11.660454 
> svm.model2$x.scale$`scaled:center`
        X1         X2         X3         X4         X5          A          B          C          D      X.NA. 
10.0911569  8.7396541 10.3951208  7.8564754 11.6604540  0.2000000  0.1333333  0.1333333  0.2333333  0.3000000
于 2020-05-13T19:59:57.407 回答
1

您所观察到的确实如您所说，假人是自动转换的。事实上，我们可以很容易地复制svm.model1两者svm.model2。

mf <- model.frame(y ~ . - 1, train) # - 1 because the intercept is unused in svm.
mt <- terms(mf)
X <- model.matrix(mt, mf)
Xtest <- model.matrix(mt, test)
Y <- model.response(mf)
svm.model3 <- svm(X, Y)

请注意，我没有使用svm(formula, data)but svm(x, y)。现在我们实际上重新创建了哪个模型？让我们比较p1和p2

all.equal(p1, predict(svm.model3, newdata = Xtest))
# [1] "Mean relative difference: 0.03064692"
all.equal(p2, predict(svm.model3, newdata = Xtest))
# [1] TRUE

看来我们已经用我们的手动假人重新创建了模型 2。svm.model2现在，这种重现而不是重现的原因svm.model1是由于scale参数。来自help(svm)（注意粗体部分）

指示要缩放的变量的逻辑向量。如果 scale 的长度为 1，则该值将根据需要循环多次。默认情况下，数据在内部（x 和 y 变量）被缩放到零均值和单位方差。返回中心值和比例值并用于以后的预测。

从这里我们可以看到，差异（和真正的问题）可能来自于svm没有正确地将二进制列识别为虚拟列，但显然在执行自动转换时足够聪明地做到这一点。scale我们可以通过手动设置参数来测试这个理论

#labels(mt) = 'cate', 'X1', 'X2', ... 
#names(attr(X, 'constrasts')) = 'cate' 
#eg: scale = Anything but 'cate'
not_dummies <- !(labels(mt) %in% names(attr(X, 'contrasts')))
n <- table(attr(X, 'assign'))
scale <- rep(not_dummies, n)
svm.model4 <- svm(X, Y, scale = scale)
all.equal(p1, predict(svm.model4, newdata = Xtest))
# [1] TRUE
all.equal(p2, predict(svm.model4, newdata = Xtest))
# [1] "Mean relative difference: 0.03124989"

所以我们看到的是

1)svm如前所述，自动将因子转换为虚拟变量。

2) 但是，在提供假人的情况下，不检查这些，如果手动创建这些，可能会导致意外行为。

于 2020-05-13T20:19:39.010 回答