2

我有 ak 最近邻实现，它让我可以在单遍预测中计算多个 k 值以及训练和测试数据的多个子集（例如，K 折交叉验证中的所有折叠，AKA 重采样指标）。我的实现还可以利用多个内核。

我想将我的方法与 caret 包一起使用。我可以轻松地为 train 函数构建自定义方法。但这将导致对模型拟合的多次调用（每个参数和折叠组合调用一次）。

据我所知，我无法在使用 trainControl 时指明调优策略。train 的代码源提到了一些关于“seq”模型拟合的内容：

## There are two types of methods to build the models: "basic" means that each tuning parameter
## combination requires it's own model fit and "seq" where a single model fit can be used to
## get predictions for multiple tuning parameters.

但是我看不到任何方法可以将其与自定义模型一起实际使用。

关于如何解决这个问题的任何线索？

更一般地说，假设您有一个模型类，您可以在其中使用单个模型拟合来估计多个参数的预测误差（例如，线性回归 LOOCV 技巧，但也适用于多个参数值），您将如何在插入符号中连接它？

以下是在插入符号中设置（空）自定义模型的一些示例代码：

# Custom caret
library(caret)
learning_data = data.frame(y=sample(c("one","two","three"),200,replace=T))
learning_data = cbind(learning_data,matrix(runif(3*200),ncol=3))
testRatio=0.75
inTrain <- createDataPartition(learning_data$y, p = testRatio, list = FALSE)
trainExpr <- learning_data[inTrain,]
testExpr <- learning_data[-inTrain,]

trainClass <- trainExpr$y
testClass <- testExpr$y

trainExpr$y<-NULL
testExpr$y<-NULL
cv_opts = trainControl(method="cv", number=4,verboseIter=T)

my_knn <- function(data,weight,parameter,levels,last,...){
        print("training")
        # print(dim(data))
        # str(parameter)
        # list(fit=rdist(data$,data))
        list(fit=NA)
}
my_knn_pred <- function(object,newdata){
    print("testing")
    # str(object)
    # print(dim(newdata))
    return("one")
}

sortFunc <- function(x)  x[order(x$k),]
# Values of K to test
knn_opts = data.frame(.k=c(seq(7,11, 2))) #odd to avoid ties
custom_tr = trainControl(method="cv", number=4,verboseIter=T,   custom=list(parameters=knn_opts,model=my_knn,prediction=my_knn_pred,probability=NULL,sort=sortFunc))

# This will result in 12 calls, 6 to my_knn, 6 to my_knn_pred, one per combination of fold and parameter value
custom_knn_performances <- train(x = trainExpr, y = trainClass,method = "custom",trControl=custom_tr,tuneGrid=knn_opts)

我想控制训练过程，以便在一次调用中生成所有折叠和参数值的预测。

4

1 回答 1

4

当前的自定义模型拟合部分train不允许使用顺序参数。

下个版本会。所有特定的模型代码将不再是硬编码，而是模块化（包括顺序参数）。

这项工作已经完成了大约 80%，我希望能在今年年底之前完成。我想在这个版本上做很多测试。

如果你想在它发布之前把它踢出去，给我发一封电子邮件（虽然没有保修）。

最大限度

于 2013-11-04T21:26:01.690 回答