r - 在 R 中使用 gbm 进行梯度提升，分布 =“bernoulli”

Question

我正在使用gbm包R并应用“bernoulli”选项进行分发以构建分类器，我得到“nan”的异常结果，我无法预测任何分类结果。但是当我使用“adaboost”时，我没有遇到同样的错误。下面是示例代码，我用 iris 数据集复制了相同的错误。

## using the iris data for gbm
library(caret)
library(gbm)
data(iris)
Data  <- iris[1:100,-5]
Label <- as.factor(c(rep(0,50), rep(1,50)))

# Split the data into training and testing
inTraining <- createDataPartition(Label, p=0.7, list=FALSE)
training <- Data[inTraining, ]
trainLab <- droplevels(Label[inTraining])
testing <- Data[-inTraining, ]
testLab <- droplevels(Label[-inTraining])

# Model
model_gbm <- gbm.fit(x=training, y= trainLab,
                     distribution = "bernoulli",
                     n.trees = 20, interaction.depth = 1,
                     n.minobsinnode = 10, shrinkage = 0.001,
                     bag.fraction = 0.5, keep.data = TRUE, verbose = TRUE)

## output on the console
Iter      TrainDeviance   ValidDeviance   StepSize   Improve
     1          -nan            -nan     0.0010      -nan
     2           nan            -nan     0.0010       nan
     3          -nan            -nan     0.0010      -nan
     4           nan            -nan     0.0010       nan
     5          -nan            -nan     0.0010      -nan
     6           nan            -nan     0.0010       nan
     7          -nan            -nan     0.0010      -nan
     8           nan            -nan     0.0010       nan
     9          -nan            -nan     0.0010      -nan
    10           nan            -nan     0.0010       nan
    20           nan            -nan     0.0010       nan

请让我知道是否有解决办法来解决这个问题。我使用它的原因是尝试加法逻辑回归，请建议 R 中是否有其他替代方法可以解决这个问题。

谢谢。

Answer 1

您使用gbm.fit()而不是有原因gbm()吗？

根据包文档， y 变量gbm.fit()需要是一个向量。

我尝试确保向量被强制使用

trainLab <- as.vector(droplevels(Label[inTraining])) #vector of chars   

这在控制台上给出了以下输出。不幸的是，我不确定为什么有效的偏差仍然是-nan。

Iter   TrainDeviance   ValidDeviance   StepSize   Improve
 1        1.3843            -nan     0.0010    0.0010
 2        1.3823            -nan     0.0010    0.0010
 3        1.3803            -nan     0.0010    0.0010
 4        1.3783            -nan     0.0010    0.0010
 5        1.3763            -nan     0.0010    0.0010
 6        1.3744            -nan     0.0010    0.0010
 7        1.3724            -nan     0.0010    0.0010
 8        1.3704            -nan     0.0010    0.0010
 9        1.3684            -nan     0.0010    0.0010
10        1.3665            -nan     0.0010    0.0010
20        1.3471            -nan     0.0010    0.0010

Answer 2

train.fraction 应该 <1 以获得 ValidDeviance，因为这样我们正在创建一个验证数据集。

谢谢！