2

我正在尝试将 3 个模型组合成一个集成模型：

  1. 模型 1 - XGBoost
  2. 模型 2 - 随机森林
  3. 模型 3 - 逻辑回归

注意：这里的所有代码都使用了 caret 包的 train() 函数。

> Bayes_model

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 75305, 75305, 75306, 75305, 75306, 75307, ... 
Resampling results:

  ROC        Sens  Spec
  0.5831236  1     0   

>linear_cv_model

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 75306, 75305, 75305, 75306, 75306, 75305, ... 
Resampling results:

  ROC        Sens  Spec
  0.5776342  1     0   

>rf_model_best

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 75305, 75305, 75306, 75305, 75306, 75307, ... 
Resampling results:

  ROC        Sens  Spec
  0.5551996  1     0

单独来说，这 3 个模型在 55-60 范围内的 AUC 非常差，但并不是非常相关，所以我希望将它们组合起来。这是R中的基本代码：

Bayes_pred = predict(Bayes_model,train,type="prob")[,2]
linear_pred = predict(linear_cv_model,train,type="prob")[,2]
rf_pred = predict(rf_model_best,train,type="prob")[,2]
stacked = cbind(Bayes_pred,linear_pred,rf_pred,train[,"target"])

因此，这会产生一个包含 4 列、三个模型预测和目标的数据框。我认为现在的想法是在这三个预测变量上运行另一个元模型，但是当我这样做时，无论我尝试哪种 XGBoost 超参数组合，我都会得到 1 的 AUC，所以我知道出了点问题。

这个设置在概念上不正确吗？

meta_model = train(target~ ., data = stacked,
               method = "xgbTree",
               metric = "ROC",
               trControl = trainControl(method = "cv",number = 10,classProbs = TRUE,
                                        summaryFunction = twoClassSummary
                                        ),
               na.action=na.pass,
               tuneGrid = grid
               )

结果：

>meta_model

No pre-processing
Resampling: Cross-Validated (10 fold) 
Summary of sample sizes: 75306, 75306, 75307, 75305, 75306, 75305, ... 
Resampling results:

  ROC  Sens  Spec
  1    1     1

我觉得对于 CV 折叠，完美的 AUC 绝对表明存在数据错误。在这个元模型上尝试逻辑回归时，我也得到了完美的分离。这没有任何意义。

> summary(stacked)
   Bayes_pred       linear_pred         rf_pred        Target
 Min.   :0.01867   Min.   :0.02679   Min.   :0.00000   No :74869  
 1st Qu.:0.08492   1st Qu.:0.08624   1st Qu.:0.01587   Yes: 8804  
 Median :0.10297   Median :0.10339   Median :0.04762              
 Mean   :0.10520   Mean   :0.10522   Mean   :0.11076              
 3rd Qu.:0.12312   3rd Qu.:0.12230   3rd Qu.:0.07937              
 Max.   :0.50483   Max.   :0.25703   Max.   :0.88889

我知道这不是可重现的代码，但我认为这是一个不依赖于数据集的问题。如上所示，我有三个不同的预测，当然也没有单独的 AUC 值。结合起来，我应该会看到一些改进，但不是完美的分离。

编辑：使用来自 T. Scharf 的非常有用的建议，这是我如何获取不折叠预测以在元模型中使用的方法。预测将存储在“pred”下的模型中，但预测不是按原始顺序排列的。您需要对它们重新排序以正确堆叠。

使用 dplyr 的arrange() 函数，这就是我得到贝叶斯模型预测的方式：

Bayes_pred = arrange(as.data.frame(Bayes_model$pred)[,c("Yes","rowIndex")],rowIndex)[,1]

在我的例子中，“Bayes_model”是插入符号训练对象，“Yes”是我正在建模的目标类。

4

1 回答 1

1

这就是正在发生的事情

当你这样做时

Bayes_pred = predict(Bayes_model,train,type="prob")[,2]
linear_pred = predict(linear_cv_model,train,type="prob")[,2]
rf_pred = predict(rf_model_best,train,type="prob")[,2]

这就是问题

您需要不折叠预测或测试 预测作为输入来训练元模型。

您当前正在使用您训练过的模型，以及您训练过的数据。这将产生过于乐观的预测，您现在正在将这些预测提供给元模型进行训练。

一个好的经验法则是永远不要使用已经看到数据的模型调用预测数据，不会发生任何好事。

这是您需要做的：

当您训练最初的 3 个模型时，使用method = cv和savePredictions = TRUE 这将保留可用于训练元模型的折叠预测。

为了让自己相信元模型的输入数据非常乐观，请计算AUC该对象的 3 列的个体：

stacked = cbind(Bayes_pred,linear_pred,rf_pred,train[,"target"])

与目标相比——它们会非常高，这就是你的元模型如此出色的原因。它使用了非常好的输入。

希望这会有所帮助，元建模很难......

于 2017-07-14T16:03:46.973 回答