0

我想计算 R 中 glmnet 模型的变量重要性。我正在使用glmnet包来拟合弹性网络模型，例如

library(glmnet)
library(caret)
library(vip)

data_y <- as.vector(mtcars$mpg)
data_x <- as.matrix(mtcars[-1])

fit.glmnet <- glmnet(data_x, data_y, family="gaussian")

set.seed(123)
cvfit.glmnet = cv.glmnet(data_x, data_y, standardize=T)
cvfit.glmnet$lambda.min
coef(cvfit.glmnet, s = "lambda.min")

然后我使用vip包作为变量重要性

#Using vip package
vip::vi_model(cvfit.glmnet, s = cvfit.glmnet$fit$lambda)

返回我

># A tibble: 10 x 3
   Variable Importance Sign 
   <chr>         <dbl> <chr>
 1 cyl         -0.886  NEG  
 2 disp         0      NEG  
 3 hp          -0.0117 NEG  
 4 drat         0      NEG  
 5 wt          -2.71   NEG  
 6 qsec         0      NEG  
 7 vs           0      NEG  
 8 am           0      NEG  
 9 gear         0      NEG  
10 carb         0      NEG

变量重要性包含变量的正值和负值，同时它不会在 0-1 或 0-100% 之间变化。

然后我尝试了这个答案的自定义功能

#Using function provided in this example
varImp <- function(object, lambda = NULL, ...) {
  
  ## skipping a few lines
  
  beta <- predict(object, s = lambda, type = "coef")
  if(is.list(beta)) {
    out <- do.call("cbind", lapply(beta, function(x) x[,1]))
    out <- as.data.frame(out)
  } else out <- data.frame(Overall = beta[,1])
  out <- abs(out[rownames(out) != "(Intercept)",,drop = FALSE])
  out
}

varImp(cvfit.glmnet, lambda = cvfit.glmnet$lambda.min)

它返回我以下输出

        Overall
cyl  0.88608541
disp 0.00000000
hp   0.01168438
drat 0.00000000
wt   2.70814703
qsec 0.00000000
vs   0.00000000
am   0.00000000
gear 0.00000000
carb 0.00000000

虽然自定义函数的输出不包含负值，但它确实在 0-1 或 0-100% 范围内变化。

我知道该caret软件包具有varImp在 0-100% 之间赋予可变重要性的功能。但我想为cv.glmnet对象而不是caret::train对象实现同样的事情。如何实现对象的可变重要性类似caret包cv.glmnet？

4

1 回答 1

1

问题询问如何获得 0-100% 之间的 glmnet 变量重要性。

如果希望在某个（通常是最优的）惩罚下基于系数大小来分配重要性。如果这些系数是基于标准化变量（glmnet 中的默认值）导出的，那么这些系数可以简单地缩放到 0 - 1 范围：

稍作修改的函数如下：

varImp <- function(object, lambda = NULL, ...) {
  beta <- predict(object, s = lambda, type = "coef")
  if(is.list(beta)) {
    out <- do.call("cbind", lapply(beta, function(x) x[,1]))
    out <- as.data.frame(out)
  } else out <- data.frame(Overall = beta[,1])
  out <- abs(out[rownames(out) != "(Intercept)",,drop = FALSE])
  out <- out/max(out)
  out[order(out$Overall, decreasing = TRUE),,drop=FALSE]
}

使用问题中的示例：

varImp(cvfit.glmnet, lambda = cvfit.glmnet$lambda.min)
#output
         Overall
wt   1.000000000
cyl  0.320796270
am   0.004840186
hp   0.004605913
disp 0.000000000
drat 0.000000000
qsec 0.000000000
vs   0.000000000
gear 0.000000000
carb 0.000000000

为 glmnet 模型分配变量重要性的另一种方法是根据包含的惩罚对变量进行评分 - 如果在更高的惩罚中排除变量，则变量更重要。这种方法将在 mlr3 包中实现：https ://github.com/mlr-org/mlr3learners/issues/28在某些时候

于 2020-09-21T10:39:28.953 回答