4

在 mlr 中，可以使用嵌套交叉验证进行过滤器特征选择和超参数调整，例如使用以下代码。

lrn = makeFilterWrapper(learner = "regr.kknn", fw.method = "chi.squared")
ps = makeParamSet(makeDiscreteParam("fw.abs", values = 10:13),
                  makeDiscreteParam("k", values = c(2, 3, 4)))
ctrl = makeTuneControlGrid()
inner = makeResampleDesc("CV", iter = 2)
outer = makeResampleDesc("Subsample", iter = 3)
lrn = makeTuneWrapper(lrn, resampling = inner, par.set = ps, control = ctrl, show.info = FALSE)
res = resample(lrn, bh.task, outer, mse, extract = getTuneResult)

但据我所知，使用包装器特征选择是不可能做这样的事情的，例如：

lrn = makeFeatSelWrapper(learner = "regr.kknn", ww.method = "random") # imaginary code
ps = makeParamSet(makeDiscreteParam("maxit", 15),
                  makeDiscreteParam("k", values = c(2, 3, 4))) # imaginary code, no method parameter & no resampling provided
ctrl = makeTuneControlGrid()
inner = makeResampleDesc("CV", iter = 2)
outer = makeResampleDesc("Subsample", iter = 3)
lrn = makeTuneWrapper(lrn, resampling = inner, par.set = ps, control = ctrl, show.info = FALSE)
res = resample(lrn, bh.task, outer, mse, extract = getTuneResult)

有没有办法实现这样的目标？特别是为了避免嵌套嵌套交叉验证？有什么方法论上的理由不合适吗？因为实际上，使用带有调整参数（特征数量）的过滤器特征选择看起来与包装器方法非常相似，也就是说，您的附加超参数实际上是一组特征，或者来自过滤器（例如“卡方”）+阈值（前 90%、80%、70%）或包装算法的输出（随机、遗传算法、穷举、顺序），并且在这两种情况下，最佳特征集都基于内部 cv 性能。

我相信这两种方法（嵌套了用于过滤的附加参数和嵌套嵌套）在计算复杂性方面是相似的，但是您可能不想使用嵌套嵌套 CV 进一步减少训练数据集，这可以通过第一种方法实现.

这是我正在犯的方法错误还是缺少（可能不是很受欢迎）功能？

4

2 回答 2

2

此功能自7 月起在 mlr 中可用。需要安装git版本

devtools::install_github("mlr-org/mlr")

TuneWrapper需要在内部重采样循环中，而FeatSelWrapper需要在外部重采样循环中。这是一个使用iris.task和 rpart 进行后向选择的示例：

library(mlr)

调整参数：

ps <- makeParamSet(
  makeNumericParam("cp", lower = 0.01, upper = 0.1),
  makeIntegerParam("minsplit", lower = 10, upper = 20)
)

网格搜索：

ctrl <- makeTuneControlGrid(resolution = 5L)

指定学习者：

lrn <- makeLearner("classif.rpart", predict.type = "prob")

生成一个曲调包装器：

lrn <- makeTuneWrapper(lrn, resampling = cv3, par.set = ps, control = makeTuneControlGrid(), show.info = FALSE)

生成一个特征选择包装器：

lrn = makeFeatSelWrapper(lrn,
                         resampling = cv3,
                         control = makeFeatSelControlSequential(method = "sbs"), show.info = FALSE)

执行重采样：

res <- resample(lrn, task = iris.task,  resampling = cv3, show.info = TRUE, models = TRUE)

请注意，即使是这个小例子也需要一些时间

res
#output
Resample Result
Task: iris_example
Learner: classif.rpart.tuned.featsel
Aggr perf: mmce.test.mean=0.1000000
Runtime: 92.1436

一个人可以在没有最外层重采样的情况下做同样的事情：

lrn <- makeLearner("classif.rpart", predict.type = "prob")
lrn <- makeTuneWrapper(lrn, resampling = cv3, par.set = ps, control = makeTuneControlGrid(), show.info = TRUE)
res2 <- selectFeatures(learner = lrn , task = iris.task, resampling = cv3,
                       control = makeFeatSelControlSequential(method = "sbs"), show.info = TRUE)
于 2018-01-08T20:29:47.187 回答
1

如果我说对了，您基本上是在问如何调整 a FeatSelWrapper? 这有点复杂，因为特征选择（in mlr）依赖于重采样，因为它基本上是调整。我们不调整学习器参数，但我们调整特征的选择以优化性能度量。要计算该度量，我们需要重新采样。

因此，换句话说，您提出的建议是通过为特征调整算法选择最佳参数来调整“特征调整” 。这自然会带来另一层嵌套重采样。

但是否有必要这样做是有争议的，因为特征选择的选择通常取决于您的可用资源和其他情况。

您可以做的是对不同的特征选择方法进行基准测试：

inner = makeResampleDesc("CV", iter = 2)
outer = makeResampleDesc("Subsample", iter = 3)
settings = list(random1 = makeFeatSelControlRandom(maxit = 15), random2 =  makeFeatSelControlRandom(maxit = 20))
lrns = Map(function(x, xn) {
  lrn = makeFeatSelWrapper(learner = "regr.lm", control = x, resampling = inner)
  lrn$id = paste0(lrn$id, ".", xn)
  lrn
}, x = settings, xn = names(settings))
benchmark(lrns, bh.task, outer, list(mse, timeboth))
于 2016-11-10T17:02:03.887 回答