问题标签 [auc]

我希望在不同阈值的 AUC 图上绘制 FPR 与 TPR 点。

例如，如果data$C2我的数据框具有真实响应列（0 或 1），我想在data$C1（不同的测量列）高于或低于指定阈值时创建一个具有预测值（0 或 1）的向量。这是我尝试使用 ROCR 包的功能。

问题是因为temp是列表向量而真正的标签来自矩阵吗？我是否错误地应用了这个 for 循环？

提前致谢！

编辑：这是我在没有 ROC 包的情况下手动执行此操作的尝试。

I have a dataframe df

I have implemented a random uniform forest procedure in a LOO Id CV mode.

I would like to compute the AUC value of my model. Somehow, it does not show up in the below command line.

Does anyone know how I can compute the AUC value for my model?

我正在尝试绘制多类 ROC 曲线，但我在pROC包中没有发现任何成果。这是一些开始代码：

如何绘制各个类别的 ROC 曲线？

假设我有以下数据

以及带有ctt >4.5arenormal (false positive)和ctt < 4.5are 的主题abnormal (false negative)。在这种情况下，我怎样才能获得 ROC 曲线auc, specifitiy和sensitivity？

所以我使用的是样本权重函数，我不想使用默认的 sklearn 评分函数来衡量性能。

看起来它说在这里我可以传递GridSearchCV字符串'roc_auc'，它应该为我计算auc，但它计算的auc是加权auc还是只是一个普通的auc？

我正在使用带有函数 multiclass.roc 的 pROC（在 R 中），正如线程How to plot ROC curve in multiclass classification?

但是，当我应用到我的数据时，出现了错误：

预测器必须是数字或有序的

显然我的数据标签是无序的，在这种情况下，我该如何计算 AUC？

P/S：这个想法是，我有一个混淆矩阵作为多类分类器的结果。如何在 R 中计算此混淆矩阵的 AUC？

更新1：

假设我有 4 个没有顺序的 A、B、C、D 类（即，并不意味着 A > B 或 B > A）

正确的值：

预测值：

我应该如何计算这些数据的 AUC？

更新 2

生成示例数据的代码：

然后我尝试了

我有两个文件：predictions.csv 和 target.csv。

predictions.csv 的格式：

target.csv 的格式：

我尝试了什么：

追溯：

如何找到 AUC？

编辑：添加了 target.csv 列可以采用的可能值。

我设计、训练并发布了一个 Azure ML 实验（使用两类决策丛林）作为 Web 服务的模型 ，可以很好地调用它并返回预期结果（基于 0.5 的阈值）。

问题 但是，我想操纵返回的结果以提供更接近我想要的准确度、精度和召回率的结果，这些结果恰好与默认阈值 0.5 不一致。我可以通过 ML Studio 轻松地做到这一点，方法是可视化评估结果并将阈值滑块从中心 (0.5) 向左或向右移动。

我已经在 Google 上搜索并阅读了许多 Azure ML 文档和教程，但到目前为止，我还无法弄清楚如何在经过训练和发布的实验中更改阈值并返回不同的得分概率。

我想使用 GLMNET 来拟合二项式逻辑回归模型。我可以直接使用插入符号或 glmnet-package。让我们以数据（BinomialExample）为例来执行以下我已经实现的代码：

如您所见，如果我使用插入符号包，我可以轻松打印模型的 ROC、灵敏度和特异性。但是，如果我在没有 CARET 的情况下直接使用 glmnet，我无法找到类似的方法来打印 ROC、Sens、Spec - 是否有类似的方法来获取这些指标？

谢谢你的帮助！

我正在使用AUC 包在 R 中构建 ROC 图。

这些是比较生存概率与观察到的生存率的 300 点数据集的前 5 个点。

我想更改 ROC 图的截止值。文档描述了这些值，但没有指定如何在 roc 或 auc 函数中实际使用它们：

“价值

包含以下元素的列表：

示例仅包括基本功能，不演示使用截止、tpr 或 fpr。

我不知道如何将截止值合并到 roc 函数中。以前有人在 AUC 包中使用过截止值吗？我知道它可以用其他包来完成，但如果可能的话，我想坚持使用这个包，因为我的数据和代码已经为它设置好了。