问题标签 [auc]

我有一些我试图理解的机器学习结果。任务是预测/标记“爱尔兰人”与“非爱尔兰人”。Python 2.7 的输出：

如您所见，准确率和召回率中等，但 AUC-ROC 更高（~0.90）。我试图找出原因，我怀疑这是由于数据不平衡（大约 1:5）。基于混淆矩阵，并使用爱尔兰语作为目标 (+)，我计算了 TPR=0.51 和 FPR=0.04。如果我将非爱尔兰人视为 (+)，则 TPR=0.96 和 FPR=0.49。那么如何在 FPR=0.04 时 TPR 仅为 0.5 时获得 0.9 AUC？

代码：

插入的重采样代码：

我分别从 sklearn 的 RandomForestClassifier 和 roc_curve、auc 方法收到不同的 ROC-AUC 分数。

以下代码使我获得了 0.878 的 ROC-AUC（即 gs.best_score_）：

然而，以下代码使我的 ROC-AUC 为 0.97：

为什么会有这样的差异？我的代码做错了吗？

谢谢！克里斯

我们使用 R 中的 AUC 包来评估模型预测。

有时，我们会遇到如下错误：

谁能告诉我们错误来自哪里？请注意：该问题并不经常发生。例如：我们运行了 10 个模型，结果发生在 3-4 个模型上。

我在 R 中使用 caTools 包来获取 R 中的 AUC。直到现在我发现当概率翻转时它返回相同的 AUC。这不是真的正确（见下面的例子）。这是否有任何理论上的理由？

使用 ROCR 包时，结果看起来符合预期。

我将不胜感激任何建议，谢谢！

我对此很陌生，所以任何类型的信息都会有所帮助。抱歉，如果我问了一个非常琐碎的问题。我正在研究一个有很多零的中型数据集。我们应用了很多模型，k=10 的 cv-skf 得分已经超过 0.85，但 roc_auc 得分停留在 0.5 左右。我正在使用sklearn。下面是代码片段。

输出 - 从 numpy 和 matplotlib test.csv train.csv 填充交互式命名空间

0.502140359687

对于 cv-skf -

输出 - 数组（[ 0.83124251, 0.84162387, 0.83580491]）

我们将 .csv 文件提交为 -

我正在 Apache Spark 中进行一些分类，但我不确定如何解释我的结果。我得到一个非常糟糕的 auROC (0.53)，但非常高的 auPR (0.79)。

这些结果对我来说似乎有点矛盾，我应该如何解释呢？

我正在尝试使用pROCR 中的包来计算灵敏度、特异性和阈值水平。这是一个示例数据

谁能告诉我为什么会发生此错误以及如何解决？

谢谢

我想知道是否有一种方法可以根据caret包生成的 SVM-RFE 模型的交叉验证数据绘制平均 ROC 曲线。

我的结果是：

我已经尝试过这里提到的解决方案： ROC curve from training data in caret

但是这个解决方案似乎不起作用（产生的 AUC 值完全不同）。我已经将训练过程的结果分成50个交叉验证集，如上一个答案中所述，但我不知道下一步该做什么。

有任何想法吗？

我尝试了 2 种方法来绘制 ROC 曲线并获得每条 ROC 曲线的 AUC。

方法 1 - 第一种方法很简单，但我不知道如何将多条 ROC 曲线绘制在一起。我只是在使用roc.curve(hacide.test$cls, pred_rose[,2])，输出将显示 ROC 曲线并给我 AUC。

方法2 我现在可以同时绘制多条ROC曲线，但不能同时得到AUC。这是我将多条 ROC 曲线绘制在一起的方式：

这是我获得AUC的方式：

如您所见，当我使用第二种方法时，performance()用于获取 ROC 曲线和 AUC 的方法是不同的。这里的 pf1, pf2 的输出没有 AUC 值。

方法 1 更简单，但是您知道如何使用方法 1 将 ROC 曲线绘制在一起并仍然保留每个 AUC 值吗？

我正在使用caret包生成的 SVM-RFE 模型中的交叉验证数据（10 倍重复 5 次）。我知道包在计算指标时caret与pROC包一起使用，但我需要使用ROCR包来获得平均 ROC。但是，我注意到使用每个包时的平均 AUC 值并不相同，所以我不确定是否应该不加区分地使用两个包。

我用来证明的代码是：

结果略有不同：

我注意到在许多情况下，平均 AUC 计算给了我不同的结果，例如在[5]和[22]中[25]：

我尝试过使用其他 SVM-RFE 模型，但问题仍然存在。为什么会这样？难道我做错了什么？