9

我对图书馆的rfe功能有疑问。caret在插入符号主页链接上，他们给出了以下 RFE 算法： 算法

在这个例子中，我使用了rfe带有 3 折交叉验证的函数和带有线性支持向量机和 5 折交叉验证的train函数。

library(kernlab)
library(caret)
data(iris)

# parameters for the tune function, used for fitting the svm
trControl <- trainControl(method = "cv", number = 5)

# parameters for the RFE function
rfeControl <- rfeControl(functions = caretFuncs, method = "cv",
                     number= 4, verbose = FALSE )

rf1 <- rfe(as.matrix(iris[,1:4]), as.factor(iris[,5]) ,sizes = c( 2,3) ,  
           rfeControl = rfeControl, trControl = trControl, method = "svmLinear")
  • 从上面的算法中，我假设该算法可以使用 2 个嵌套的交叉验证：
    1. rfe将数据（150 个样本）分成 3 折
    2. 该train函数将在具有 5 倍交叉验证的训练集（100 个样本）上运行以调整模型参数 - 以及随后的 RFE。

让我困惑的是，当我查看rfe函数的结果时：

> lapply(rf1$control$index, length)
$Fold1
[1] 100
$Fold2
[1] 101
$Fold3
[1] 99

> lapply(rf1$fit$control$index, length)
$Fold1
[1] 120
$Fold2
[1] 120
$Fold3
[1] 120
$Fold4
[1] 120
$Fold5
[1] 120

由此看来，来自 5 倍 cv 的训练集的大小是 120 个样本，而我预计的大小是 80。

因此，如果有人能阐明rfe和train如何协同工作，那就太好了。

干杯

> sessionInfo()
R version 2.15.1 (2012-06-22)
Platform: i386-apple-darwin9.8.0/i386 (32-bit)

locale:
[1] C

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] pROC_1.5.4      e1071_1.6-1     class_7.3-5     caret_5.15-048 
 [5] foreach_1.4.0   cluster_1.14.3  plyr_1.7.1      reshape2_1.2.1 
 [9] lattice_0.20-10 kernlab_0.9-15 

loaded via a namespace (and not attached):
 [1] codetools_0.2-8 compiler_2.15.1 grid_2.15.1     iterators_1.0.6
 [5] stringr_0.6.1   tools_2.15.1
4

1 回答 1

1

这里的问题是它lapply(rf1$fit$control$index, length)不存储我们认为它所做的事情。

为了让我明白，有必要查看代码。发生的情况如下：

当你调用时rfe，整个数据被传递给nominalRfeWorkflow.

在nominalRfeWorkflow中，根据rfeControl（在我们的示例中，根据 3-folded CV 规则 3 次）拆分的训练和测试数据被传递给rfeIter。我们可以在下面的结果中找到这些拆分rf1$control$index。

在rfeIter大约 100 个训练样本（我们的示例）中，用于查找最终变量（即该函数的输出）。据我了解，大约 50 个测试样本（我们的示例）用于计算不同变量集的性能，但它们仅存储为外部性能，而不用于选择最终变量。为了选择这些，使用了 5 折交叉验证的性能估计。但是我们在 . 返回的最终结果中找不到这些索引rfe。如果我们真的需要它们，我们需要从fitObject$control$indexin中获取它们rfeIter，将它们返回到nominalRfeWorkflow，然后rfe在返回的结果rfe-Class 对象中往返rfe。

那么存储在什么中lapply(rf1$fit$control$index, length)呢？- 当rfe找到最佳变量时，使用最佳变量和完整参考数据 (150) 创建最终模型拟合。rf1$fit创建rfe如下：

fit <- rfeControl$functions$fit(x[, bestVar, drop = FALSE], y, first = FALSE, last = TRUE, ...)

该函数再次运行该train函数，并使用完整的参考数据、最终特征集和trControl通过省略号 ( ...) 给出的最终交叉验证。由于我们trControl应该做 5 倍的 CV，因此lapply(rf1$fit$control$index, length)返回 120 是正确的，因为我们必须计算 150/5*4=120。

于 2017-09-20T13:10:20.383 回答