r - 在 R 中构建 ROC 曲线

Question

我正在对数量进行整体预测。我在每个观察点有大约 20 个预测值。我将有一个 x% 的事件定义，即最高观察值的 95%。我正在尝试使用 R 构建 ROC 曲线：

1. ROCR 是基于概率的 ROC 分数的好包吗？
2. 你能提供一个如何构建这个 ROC 曲线的例子吗？

假设一个假数据集。

我正在阅读各种各样的论文。但是我对如何计算预测概率感到非常困惑。

Answer 1

我会鼓励你看看caret 包装。非常适合合奏学习。它会通过交叉验证根据 RMSE、ROC (AUC) 等为您调整参数。这就是将您的数据拆分为带有替换的样本，在调整参数的同时运行大量模型，并为您提供最佳模型。

此处的小插图（在包装页面上列出）非常好，您将在其中看到显示绘制 ROC 曲线的示例。

但是，如果您正在寻找的是从预测和保留数据中计算 ROC 分数的简单方法，请查看此 pdf的第 11 页。