3

我有一个可以工作的 glm 模型。由于我想添加（岭）正则化，我想我会切换到 glmnet。出于某种原因，我无法让 glmnet 工作。它似乎总是预测第一类，而不是第二类，这导致准确性低且 kappa = 0。

下面是一些重现问题的代码。我究竟做错了什么？

它生成的测试数据如下所示：

数据

由于数据不能线性分离，因此添加了两个多项式项 A^2 和 B^2。

glm 模型正确预测数据（准确度 = 1 和 kappa = 1）。这是它的预测边界：

GLM

虽然 glmnet 模型的 kappa = 0，但无论它尝试什么 lambda：

  lambda  Accuracy  Kappa  Accuracy SD  Kappa SD
  0       0.746     0      0.0295       0       
  1e-04   0.746     0      0.0295       0       
  0.01    0.746     0      0.0295       0       
  0.1     0.746     0      0.0295       0       
  1       0.746     0      0.0295       0       
  10      0.746     0      0.0295       0

重现问题的代码：

library(caret)

# generate test data
set.seed(42)
n <- 500; m <- 100
data <- data.frame(A=runif(n, 98, 102), B=runif(n, 98, 102), Type="foo")
data <- subset(data, sqrt((A-100)^2 + (B-100)^2) > 1.5)
data <- rbind(data, data.frame(A=rnorm(m, 100, 0.25), B=rnorm(m, 100, 0.25), Type="bar"))

# add a few polynomial features to match ellipses
polymap <- function(data) cbind(data, A2=data$A^2, B2=data$B^2)
data <- polymap(data)

plot(x=data$A, y=data$B, pch=21, bg=data$Type, xlab="A", ylab="B")

# train a binomial glm model
model.glm <- train(Type ~ ., data=data, method="glm", family="binomial",
                   preProcess=c("center", "scale"))

# train a binomial glmnet model with ridge regularization (alpha = 0)
model.glmnet <- train(Type ~ ., data=data, method="glmnet", family="binomial",
                      preProcess=c("center", "scale"),
                      tuneGrid=expand.grid(alpha=0, lambda=c(0, 0.0001, 0.01, 0.1, 1, 10)))

print(model.glm)    # <- Accuracy = 1,   Kappa = 1 - good!
print(model.glmnet) # <- Accuracy = low, Kappa = 0 - bad!

直接调用 glmnet（没有插入符号）会导致同样的问题：

x <- as.matrix(subset(data, select=-c(Type)))
y <- data$Type
model.glmnet2 <- cv.glmnet(x=x, y=y, family="binomial", type.measure="class")
preds <- predict(model.glmnet2, x, type="class", s="lambda.min")
# all predictions are class 1...

编辑：绘制缩放数据和 glm 找到的决策边界：

glm 找到的决策边界

型号：-37 + 6317*A + 6059*B - 6316*A2 - 6059*B2

4

1 回答 1

1

在制作预测器的多项式版本之前，您应该对数据进行中心化和缩放。从数字上看，事情会这样运作得更好：

set.seed(42)
n <- 500; m <- 100
data <- data.frame(A=runif(n, 98, 102), B=runif(n, 98, 102), Type="foo")
data <- subset(data, sqrt((A-100)^2 + (B-100)^2) > 1.5)
data <- rbind(data, data.frame(A=rnorm(m, 100, 0.25), B=rnorm(m, 100, 0.25), Type="bar"))
data2 <- data
data2$A <- scale(data2$A, scale = TRUE)
data2$B <- scale(data2$B, scale = TRUE)
data2$A2 <- data2$A^2
data2$B2 <- data2$B^2

# train a binomial glm model
model.glm2 <- train(Type ~ ., data=data2, method="glm")

# train a binomial glmnet model with ridge regularization (alpha = 0)
model.glmnet2 <- train(Type ~ ., data=data2, method="glmnet", 
                       tuneGrid=expand.grid(alpha=0, 
                                            lambda=c(0, 0.0001, 0.01, 0.1, 1, 10)))

从这些：

> getTrainPerf(model.glm2)
  TrainAccuracy TrainKappa method
1             1          1    glm
> getTrainPerf(model.glmnet2)
  TrainAccuracy TrainKappa method
1             1          1 glmnet

最大限度

于 2014-08-06T13:34:33.643 回答