问题标签 [roc]

我使用ROCR包来绘制 ROC 曲线。代码如下：

我pred和perf对象不是一个向量而是一个列表，所以我可以得到一个平均 ROC 曲线。谁能告诉我如何计算ROCR包装中指定截止值的平均灵敏度和特异性？

I am performing logistic regression using this page. My code is as below.

After running this code mydata dataframe has two columns - 'admit' and 'prob'. Shouldn't those two columns sufficient to get the ROC curve?

How can I get the ROC curve.

Secondly, by loooking at mydata, it seems that model is predicting probablity of admit=1.

Is that correct?

How to find out which particular event the model is predicting?

Thanks

UPDATE: It seems that below three commands are very useful. They provide the cut-off which will have maximum accuracy and then help to get the ROC curve.

我制作了一个预测 1 或 0 的网络。我现在正在研究该网络的 ROC 曲线，我必须在其中找到 TN、FN、TP、FP。当我的网络输出 >= 0.5 且期望输出为 1 时，我将其归类为 True Positive。当它 >=0.5 且期望输出为 0 时，我将其归类为误报。这是正确的做法吗？只是想确定我的理解是否正确。

我正在对数量进行整体预测。我在每个观察点有大约 20 个预测值。我将有一个 x% 的事件定义，即最高观察值的 95%。我正在尝试使用 R 构建 ROC 曲线：

1. ROCR 是基于概率的 ROC 分数的好包吗？
2. 你能提供一个如何构建这个 ROC 曲线的例子吗？

假设一个假数据集。

我正在阅读各种各样的论文。但是我对如何计算预测概率感到非常困惑。

我可以使用scikit-learnwith fpr, tpr,获得 ROC 曲线thresholds = metrics.roc_curve(y_true,y_pred, pos_label=1)，其中y_true是基于我的黄金标准的值列表（即，0对于负面和1正面案例），并且y_pred是相应的分数列表（例如，0.053497243, 0.008521122, 0.022781548, 0.101885263, 0.012913795, 0.0,0.042881547 [...]）

我试图弄清楚如何向该曲线添加置信区间，但没有找到任何简单的方法来使用 sklearn 做到这一点。

我有一个包含 140 000 个观察值的数据集，并且正在尝试使用两个不同的预测变量来比较 ROC（接收器操作特性）。但是，该roccomp命令失败并r(134)报告错误too many values。如果这有所作为，我正在使用 Stata/MP 12。有解决办法吗？

我有以下玩具数据集：

当我使用 Metrics 包中的 auc() 函数时，它告诉我分数是 1。

这似乎不正确。有什么建议么？

我已经实现了一个决策树，我希望通过 ROC 曲线对其进行评估。

但是，我不知道如何定义它的阈值。据我所知，决策树的性能可以用单个混淆矩阵来表示，因此它应该对应于 ROC 图中的单个点。我该怎么做曲线？

谢谢！

我的数据集有 100 个特征的 400 个观察值。400 个观测值中的每一个都属于 2 个类中的 1 个。

我正在 MATLAB 中训练一个神经网络（patternet(15)）来对该数据集进行分类。
我不会一次使用所有功能，但首先我使用一个功能 (400x1)，然后添加第二个功能 (400x2)，依此类推。在每一步，我都使用perfcurve计算 AUC 。

这是我的问题：

AUC 正在发生变化，但并不总是随着每个额外的输入而变大。
随着我使用更多功能来训练网络，AUC 不应该增加吗？（我总是通过divideind使用相同的划分）。

感谢所有评论和帮助！谢谢！

我正在尝试绘制随机森林分类的​​ ROC 曲线。绘图有效，但我认为我绘制了错误的数据，因为结果图只有一个点（准确性）。

这是我使用的代码：