22

有人可以解释一下如何用 ROCR 绘制 ROC 曲线。我知道我应该首先运行：

prediction(predictions, labels, label.ordering = NULL)

接着：

performance(prediction.obj, measure, x.measure="cutoff", ...)

我只是不清楚预测和标签是什么意思。我用 ctree 和 cforest 创建了一个模型，我希望他们两个的 ROC 曲线最后进行比较。在我的例子中，类属性是 y_n，我想它应该用于标签。但是预测呢？以下是我所做的步骤（数据集名称= bank_part）：

pred<-cforest(y_n~.,bank_part)
tablebank<-table(predict(pred),bank_part$y_n)
prediction(tablebank, bank_part$y_n)

运行最后一行后，我收到此错误：

Error in prediction(tablebank, bank_part$y_n) : 
Number of cross-validation runs must be equal for predictions and labels.

提前致谢！

这是另一个例子：我有训练数据集（bank_training）和测试数据集（bank_testing），我运行了一个随机森林，如下所示：

bankrf<-randomForest(y~., bank_training, mtry=4, ntree=2,    
keep.forest=TRUE,importance=TRUE) 
bankrf.pred<-predict(bankrf, bank_testing, type='response')

现在 bankrf.pred 是一个带有标签 c=("0", "1") 的因子对象。不过，我不知道如何绘制 ROC，因为我陷入了预测部分。这就是我所做的

library(ROCR) 
pred<-prediction(bankrf.pred$y, bank_testing$c(0,1)

但这仍然不正确，因为我收到错误消息

Error in bankrf.pred$y_n : $ operator is invalid for atomic vectors
4

6 回答 6

24

预测是您对分类的连续预测，标签是每个变量的二元事实。

所以像下面这样的东西应该可以工作：

> pred <- prediction(c(0.1,.5,.3,.8,.9,.4,.9,.5), c(0,0,0,1,1,1,1,1))
> perf <- performance(pred, "tpr", "fpr")
> plot(perf)

生成 ROC。

编辑：在问题中包含示例可重现代码可能对您有所帮助（我很难解释您的评论）。

这里没有新代码，但是......这是我经常用于绘制 ROC 的函数：

 plotROC <- function(truth, predicted, ...){
   pred <- prediction(abs(predicted), truth)    
   perf <- performance(pred,"tpr","fpr")

   plot(perf, ...)
}
于 2012-07-13T12:29:37.137 回答
7

ROCR就像@Jeff 说的那样，您的预测对于's 的prediction功能需要是连续的。require(randomForest); ?predict.randomForest表明，默认情况下，predict.randomForest返回原始尺度的预测（类标签，分类），而predict.randomForest(..., type = 'prob')返回每个类的概率。所以：

require(ROCR)
data(iris)
iris$setosa <- factor(1*(iris$Species == 'setosa'))
iris.rf <- randomForest(setosa ~ ., data=iris[,-5])
summary(predict(iris.rf, iris[,-5]))
summary(iris.preds <- predict(iris.rf, iris[,-5], type = 'prob'))
preds <- iris.preds[,2]
plot(performance(prediction(preds, iris$setosa), 'tpr', 'fpr'))

给你你想要的。不同的分类包需要不同的命令来获取预测概率——有时是predict(..., type='probs')、predict(..., type='prob')[,2]等，因此只需查看您正在调用的每个函数的帮助文件。

于 2012-07-13T15:07:29.110 回答
5

您可以这样做：

将我们的数据保存在 csv 文件中，("data_file.csv") 但您可能需要在此处提供完整路径。在该文件中有列标题，在这里我将使用“default_flag”、“var1”、“var2”、“var3”，其中 default_flag 为 0 或 1，其他变量具有任何值。代码：

rm(list=ls())
df <- read.csv("data_file.csv") #use the full path if needed
mylogit <- glm(default_flag ~  var1 + var2 + var3, family = "binomial" , data = df)

summary(mylogit)
library(ROCR)

df$score<-predict.glm(mylogit, type="response" )
pred<-prediction(df$score,df$default_flag)
perf<-performance(pred,"tpr", "fpr")
plot(perf)
auc<- performance(pred,"auc")
auc

请注意， df$score 会给你默认的概率。如果您想使用此 logit（相同的回归系数）在另一个数据集 df2 中进行测试以进行交叉验证，请使用

df2 <- read.csv("data_file2.csv")

df2$score<-predict.glm(mylogit,newdata=df2, type="response" )

pred<-prediction(df2$score,df2$default_flag)
perf<-performance(pred,"tpr", "fpr")
plot(perf)
auc<- performance(pred,"auc")
auc
于 2016-02-03T19:46:45.357 回答
1

正如其他人指出的那样，问题在于 ROCR 中的预测需要数值。如果您要从randomForest（作为 ROCR 中预测的第一个参数）插入预测，则该预测需要由type='prob'而不是生成type='response'，这是默认值。或者，您可以获取type='response'结果并转换为数字（也就是说，如果您的回答是 0/1）。但是当你绘制它时，ROCR 会在 ROC 曲线上生成一个有意义的点。为了在 ROC 曲线上有很多点，您确实需要与每个预测相关的概率 - 即用于type='prob'生成预测。

于 2014-02-10T19:56:02.893 回答
0

问题可能是您想在多次运行中运行预测函数，例如交叉验证。

在这种情况下，对于预测（预测，标签，label.ordering = NULL）函数，“预测”和“标签”变量的类应该是列表或矩阵。

于 2012-07-13T13:54:22.190 回答
0

试试这个： 

library(ROCR)
pred<-ROCR::prediction(bankrf.pred$y, bank_testing$c(0,1)

存在的功能预测是许多包。您应该明确指定 (ROCR::) 以使用 ROCR 中的那个。这个对我有用。

于 2016-09-29T17:43:31.567 回答