0

我正在尝试针对具有非常嘈杂的功能的问题运行 xgboost，并且有兴趣根据我定义的自定义 eval_metric 停止轮数。

根据领域知识，我知道当 eval_metric（根据训练数据评估）超过某个值时，xgboost 会过度拟合。而且我想只采用特定轮数的拟合模型，而不是进一步进行。

实现这一目标的最佳方法是什么？

这将在某种程度上符合早期停止标准，但不完全一致。

或者，是否有可能从中间轮中获得模型？

这是一个可以通过问题更好地解释的示例。（使用 xgboost 帮助文档附带的玩具示例并使用默认的 eval_metric）

library(xgboost)
data(agaricus.train, package='xgboost')
train <- agaricus.train
bstSparse <- xgboost(data = train$data, label = train$label, max.depth =   2, eta = 1, nthread = 2, nround = 5, objective = "binary:logistic")

这是输出

[0] train-error:0.046522
[1] train-error:0.022263
[2] train-error:0.007063
[3] train-error:0.015200
[4] train-error:0.007063

现在让我们从领域知识中说，我知道一旦训练误差低于 0.015（在这种情况下是第三轮），任何进一步的轮次只会导致过度拟合。我将如何在第三轮之后停止训练过程并掌握训练好的模型以使用它来预测不同的数据集？

我需要在许多不同的数据集上运行训练过程，并且我不知道要训练多少轮才能使错误低于固定数字，因此我无法将 nrounds 参数设置为预定值。我唯一的直觉是，一旦训练误差低于某个数字，我就需要停止进一步的训练。

4

1 回答 1

0

在没有您尝试过的任何代码或您正在使用的任何数据的情况下，请尝试以下操作：

require(xgboost)
library(Metrics) # for rmse to calculate errors
    
# Assume you have a training set db.train and have some 
# feature indices of interest and a test set db.test

predz <- c(2, 4, 6, 8, 10, 12)
predictors <- names(db.train[, predz])

# you have some response you are interested in
outcomeName <- "myLabel"
    
# you may like to include for testing some other parameters like: 
# eta, gamma, colsample_bytree, min_child_weight
    
# here we look at depths from 1 to 4 and rounds 1 to 100 but set your own values
        
smallestError <- 100 # set to some sensible value depending on your eval metric

for (depth in seq(1, 4, 1)) {
  for (rounds in seq(1, 100, 1)) {
    # train
    bst <- xgboost(data = as.matrix(db.train[,predictors]),
                   label = db.train[,outcomeName],
                   max.depth = depth, 
                   nround = rounds,
                   eval_metric = "logloss",
                   objective = "binary:logistic", 
                   verbose=TRUE)
    gc()
                        
    # predict
    predictions <- as.numeric(predict(bst, as.matrix(db.test[, predictors]), 
                                      outputmargin = TRUE))
    err <- rmse(as.numeric(db.test[, outcomeName]), as.numeric(predictions))
        
    if (err < smallestError) {
      smallestError = err
      print(paste(depth,rounds,err))
    }     
  }
}

您可以根据您的特定评估指标调整此代码并将其打印出来以适应您的情况。类似地，您可以在达到满足您寻求达到的某些条件的特定轮数时在代码中引入中断。

于 2017-01-25T01:28:49.030 回答