1

我在 R 中对二元响应变量执行套索回归。

我cv.glmnet用来寻找最佳 lambda 并glmnet用于检查最佳 lambda 情况的系数。在调用这两个函数时，我指定了standardize =TRUEand alpha = 1。

在我的案例中，我有大约 40 个变量，我确信其中一些变量与散点图和vif（当我对相同数据执行逻辑回归时）密切相关。

我从套索回归中得到的最佳 lambda 为 <0.001，并且在最佳模型中没有任何变量被丢弃（其中 lambda = 最佳 lambda）。

想知道为什么没有删除任何变量。

4

1 回答 1

2

基本上是因为你的lambda价值太小了。lambda<0.001意味着你的惩罚是如此之小，以至于它根本不重要。看看这个“愚蠢”的例子：

让我们生成一些样本随机数据。请注意，变量z和z1是强相关的。

library(glmnet)
z<-rnorm(100)
data<-data.frame(y=3+rnorm(100),x1=rnorm(100),x2=rnorm(100),x3=rnorm(100),x4=rnorm(100),x5=rnorm(100),
             x6=rnorm(100),x7=rnorm(100),x8=rnorm(100),x9=rnorm(100),x10=rnorm(100),z=z,z1=z+rnorm(100,0,0.3))

现在运行一些模型：

gl<-glmnet(y=data$y,x=as.matrix(data[,-1]),alpha = 1)
plot(gl,xvar="lambda")

在此处输入图像描述

lambda相等的0.001意思log(lambda)=-6.907755，即使在这个“愚蠢”的例子中，我们可以认为系数不会很重要（所以值应该等于0），我们将得到小但非零的值（如图中所示）。

glmnetwith的系数与 from的系数lambda=0.001非常相似glm（就像我说的，小lambda等于对数似然没有惩罚）：

gl1<-glmnet(y=data$y,x=as.matrix(data[,-1]),alpha = 1,lambda=0.001)
gl2<-glm(data=data,formula=y~x1+x2+x3+x4+x5+x6+x7+x8+x9+x10+z+z1) 
gl1$beta
# x1  -0.10985215
# x2  -0.12337595
# x3   0.06088970
# x4  -0.12714515
# x5  -0.12237959
# x6  -0.01439966
# x7   0.02037826
# x8   0.22288055
# x9  -0.10131195
# x10 -0.04268274
# z   -0.04526606
# z1   0.04628616  
gl3$coefficients
(Intercept)          x1          x2          x3          x4          x5          x6 
 2.98542594 -0.11104062 -0.12478162  0.06293879 -0.12833484 -0.12385855 -0.01556657 
         x7          x8          x9         x10           z          z1 
 0.02071605  0.22408006 -0.10195640 -0.04419441 -0.04602251   0.04513612

现在看看这两种方法的系数有什么区别：

as.vector(gl1$beta)-as.vector(gl2$coefficients)[-1]
# [1]  0.0011884697  0.0014056731 -0.0020490872  0.0011896872  0.0014789566  0.0011669064
# [7] -0.0003377824 -0.0011995019  0.0006444471  0.0015116774  0.0007564556  0.00115004
于 2015-12-22T14:49:28.750 回答