问题标签 [roc]

我正在使用 sklearn v 0.13.1 svm 来尝试解决二进制分类问题。我使用 kfold 交叉验证并计算 roc 曲线 (roc_auc) 下的面积来测试我的模型的质量。但是，对于某些折叠，roc_auc 小于 0.5，即使对于训练数据也是如此。这不应该是不可能的吗？算法不应该总是有可能在它正在训练的数据上至少达到 0.5 吗？

这是我的代码：

输出如下所示：

曲线下面积小于 0.5 的结果是否有意义？原则上，如果训练值和测试值都 <0.5，我可以反转每个点的预测，但我担心会出现问题。我想即使我给它完全随机的数据，算法在训练数据上也应该达到 0.5？

sklearn roc_curve文档字符串指出：

“y_score : array, shape = [n_samples] 目标分数，可以是正类的概率估计、置信度值或二元决策。”

在什么情况下将 y_score 设置为二进制向量（“二进制决策”）是有意义的？这不会导致 ROC 曲线上有一个点，这与该点相悖吗？

我正在使用OptimalCutpoints包R从 ROC 曲线中找到最佳截止点。找到最佳阈值的标准是最大化 Youden 指数：

我试图在 matlab 中使用函数做同样的事情perfcurve。我perfcurve使用两个轴的默认标准运行，即 x 坐标中的 FPR 和 y 坐标中的 TPR。返回一个带有阈值的perfcurve矩阵，并根据标准选择其中一个。
问题是matlab给出的最佳阈值与R中的不同。但是，根据R的最佳阈值包含在matlab返回的阈值矩阵中。

如何复制 R 返回的结果与 matlab 中的结果？我怀疑在 matlab 中没有为 Youden 的索引正确设置标准。

我是 Torch 的新手，我正在研究一个问题，我必须描述接收器操作特性 (ROC) 曲线及其曲线下面积 (AUC)。

我必须数组：TPrate在 y 轴和FPratex 轴上，同时具有大小n

如何在 Torch7 或 Lua 中计算此函数的曲线下面积？

我还从 JayClascoe.com 找到了这段代码，但我不知道如何使用它的功能。

我在我的文章中分析了几种不同的 ROC 分析。因此，我正在调查我的样本量是否合适。我创建了一个数据框，其中包含用于 ROC 分析的所有可能样本大小的组合。

我的目标是创建线图案例/对照（即 kappa）与最佳 AUC

因此，我想使用 power.roc.test 创建第三个变量来计算最佳 AUC

我跑到上面的问题，问题出在哪里？

我在使用 gbm 包计算 ROC 分数 (AUC) 时遇到问题。我正在使用增强的回归树。我正在运行的脚本是：

它应该产生“训练数据 ROC 分数”和“交叉验证 ROC 分数”以及其他相关参数。我没有得到 ROC 分数。我打电话names(testing.tc5.lr005)。如果我调用它会列出cv.roc.matrix但会产生以下内容testing.tc5.lr005$cv.roc.matrix：

[1] 0 0 0 0 0 0 0 0 0 0

roc(TestData$TN,predTN)我尝试通过（TestData~用于预测的数据，即观察值；predTN~预测值）来计算 ROC AUC 。结果是[1]NA. 我不知道我做错了什么，尽管模型的其余部分似乎在合理的测试和 CV 相关性和 SE 值方面做得很好。任何关于我错在哪里或替代的指示将不胜感激！谢谢

给定这样的数据：SN = 灵敏度；SP = 特异性

如何绘制 ROC 曲线并计算 AUC。并比较两条不同 ROC 曲线之间的 AUC。在大多数包如 pROC 或 ROCR 中，数据的输入与上面显示的不同。任何人都可以建议用 R 或其他方法解决这个问题的方法吗？

R 的ROCR 包为 ROC 曲线绘图提供了选项，这些选项将沿曲线对阈值进行颜色编码和标记：

我能用 Python 得到的最接近的是

这使

是否有包提供与 R 标记（使用print.cutoffs.at）和颜色代码（使用colorize）阈值的能力相当的功能？大概此信息在 中thresholds，由 返回sklearn.metrics.roc_curve，但我不知道如何使用它来对图形进行颜色编码和标记。

我很难理解如何使用 multiclass.roc 函数（'pROC' 包）格式化和利用 predict.gbm（'gbm' 包）的输出。

我使用多项式 gbm 来预测验证数据集，其输出似乎是每个数据点属于每个因子级别的概率。（如果我错了请纠正我）

因子水平是1-5，不知道为什么小数加法

我正在尝试使用 multiclass.roc 计算 Hand and Till (2001) 定义的多类 AUC，但我不确定如何在它需要的单个向量中提供预测值。

如有必要，我可以尝试编写一个示例，尽管我认为这对某些人来说是例行公事，而作为新手，我在该过程中遗漏了一些东西。

如何使用 scikit learn 或任何其他 python 库为 csv 文件绘制 roc 曲线，例如：