0

我正在尝试获取我在测试数据集上获得的模型的 ROC 曲线。

然而得到一个错误：

Setting levels: control = negative, case = positive
Error in roc.default(testing_data$tested, predict_rf) : 
  Predictor must be numeric or ordered.

我遵循了以下答案，但没有成功。

R 中的 SVM：“预测变量必须是数字的或有序的。”

使用 pROC 绘制 ROC 曲线失败

几个月前，我在此链接上由其他人发布了一个类似的示例：

表中的错误（数据，参考，dnn = dnn，...）：在 R 中使用插入符号运行混淆矩阵时，所有参数必须具有相同的长度

但是，为了重现性，我以“stupidWolf”为例并在此处发布，因为我以前对他的回答有疑问。然而，当试图获得我的 ROC 曲线时，又遇到了另一个问题。

# choose a sample

idx = sample(nrow(iris),100)
data = iris
data$Petal.Length[sample(nrow(data),10)] = NA
data$tested = factor(ifelse(data$Species=="versicolor","positive","negative"))
data = data[,-5]
training_data = data[idx,]
testing_data= data[-idx,]


# train data 
rf <- caret::train(tested ~., data = training_data, 
                              method = "rf",
                              trControl = ctrlInside,
                              metric = "ROC", 
                              na.action = na.exclude)

# test the model on test data

colnames(evalResult.rf)[max.col(evalResult.rf)]
testing_data = testing_data[complete.cases(testing_data),]
evalResult.rf <- predict(rf, testing_data, type = "prob")
predict_rf <- factor(colnames(evalResult.rf)[max.col(evalResult.rf)])
cm_rf_forest <- confusionMatrix(predict_rf, testing_data$tested, "positive")

# get the roc
library(pROC)
rfROCt <- pROC::roc(testing_data$tested, predict_rf)

并得到错误：

Setting levels: control = negative, case = positive
Error in roc.default(testing_data$tested, predict_rf) : 
  Predictor must be numeric or ordered.
4

1 回答 1

3

第二个参数应该是预测的概率，所以如果你看这个例子：

evalResult.rf <- predict(rf, testing_data, type = "prob")
head(evalResult.rf)

   negative positive
2     0.968    0.032
8     1.000    0.000
9     0.996    0.004
13    0.990    0.010

第二列是正类的概率。

所以你像这样使用它

pROC::roc(testing_data$tested,evalResult.rf[,2])
Setting levels: control = negative, case = positive
Setting direction: controls < cases

Call:
roc.default(response = testing_data$tested, predictor = evalResult.rf[,     2])

Data: evalResult.rf[, 2] in 24 controls (testing_data$tested negative) < 22 cases (testing_data$tested positive).
Area under the curve: 0.9924
于 2020-11-16T23:38:40.810 回答