1

最近我正在学习 mlr3 包中的嵌套重采样。根据 mlr3 的书，嵌套重采样的目标是为学习者获得无偏的性能估计。我运行如下测试：

# loading packages
library(mlr3)
library(paradox)
library(mlr3tuning)

# setting tune_grid
tune_grid <- ParamSet$new(
  list(
  ParamInt$new("mtry", lower = 1, upper = 15),
  ParamInt$new("num.trees", lower = 50, upper = 200))
  )

# setting AutoTuner
at <- AutoTuner$new(
  learner = lrn("classif.ranger", predict_type = "prob"),
  resampling = rsmp("cv", folds = 5),
  measure = msr("classif.auc"),
  search_space = tune_grid,
  tuner = tnr("grid_search", resolution = 3),
  terminator = trm("none"),
  store_tuning_instance = TRUE)

# nested resampling
set.seed(100)
resampling_outer <- rsmp("cv", folds = 3)   # outer resampling
rr <- resample(task_train, at, resampling_outer, store_models = TRUE)

> lapply(rr$learners, function(x) x$tuning_result)
[[1]]
   mtry num.trees learner_param_vals  x_domain classif.auc
1:    1       200          <list[2]> <list[2]>   0.7584991

[[2]]
   mtry num.trees learner_param_vals  x_domain classif.auc
1:    1       200          <list[2]> <list[2]>   0.7637077

[[3]]
   mtry num.trees learner_param_vals  x_domain classif.auc
1:    1       125          <list[2]> <list[2]>   0.7645588

> rr$aggregate(msr("classif.auc"))
classif.auc 
  0.7624477

结果表明，从 3 个内部重采样中选择的 3 个超参数不能保证相同。它类似于这篇文章（它从内部重采样中获得 3 个不同的 cp）：mlr3 resample autotuner - not show tune parameters？.

我的问题是：

  1. 我曾经认为聚合结果rr$aggregate是 3 个模型的平均值，但它不是，(0.7584991 + 0.7637077 + 0.7645588) / 3 = 0.7622552，而不是 0.7624477，我误解了聚合结果吗？
  2. 如何从内部重采样过程中解释具有不同最佳超参数的 3 个模型的聚合性能结果？它是什么不偏不倚的表现？

谢谢！

4

1 回答 1

4

结果表明，从 3 个内部重采样中选择的 3 个超参数不能保证相同。

听起来您想使用内部重采样中选择的超参数来拟合最终模型。嵌套重采样不用于为最终模型选择超参数值。仅检查稳定超参数的内部调整结果。这意味着所选的超参数不应变化太大。

  1. 是的，您将所有外部重采样测试集 ( ) 的聚合性能与内部重采样测试集 ( )rr$aggregate()的估计性能进行比较。lapply(rr$learners, function(x) x$tuning_result)

  2. 所有外部重采样迭代的聚合性能是具有通过网格搜索找到的最佳超参数的游侠模型的无偏性能。您可以运行at$train(task)以获得最终模型，并将使用嵌套重采样估计的性能报告为该模型的无偏性能。

于 2021-02-26T12:50:20.530 回答