问题标签 [auc]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
939 浏览

python - ROC 曲线是凸的

我正在使用带有一个多类分类器“sub_grade”的逻辑回归来绘制默认频率的 ROC 图(和 AUC 计算)。假设 lcd 是一个包含初始数据的数据框。

结果 ROC 曲线是凸的,AUC 得分约为 0.35。为什么是这样?我认为 ROC 曲线根据频率对分类进行排序。结果将意味着违约率最高的类别具有最低的预测发生概率。

我是否正确解释了这一点?

0 投票
1 回答
664 浏览

matlab - Matlab -- SVM -- 具有相同分数和 AUC = .50 的所有多数类预测

我在用 Matlab 中的 RBF 内核训练 SVM 时遇到了一个奇怪的问题。问题是,在进行网格搜索时,使用 10 倍交叉验证,对于 C 和 Sigma 值,我总是得到等于大约 0.50 的 AUC 值(在 0.48 和 0.54 之间变化,具体取决于)——我得到了这个from:实际测试集标签[X,Y,T,AUC] = perfcurve(dSet1Label(test),label, 1);在哪里,预测标签在哪里。分类器只预测占数据的 90% 以上的多数类。dSet1Label(test)label

经过进一步调查,当查看分数时(从[label,score] = predict(svmStruct, dSet1(test,:));哪里获得svmStruct的模型是在 9/10 的数据上训练的,剩下的 1/10 是从哪里获得dSet1(test,:)的),它们都是相同的:

数据由 443 个特征和 6,453 个实例组成,其中 542 个属于正类。[0,1]根据标准 SVM 协议,这些功能已扩展到 0 范围内。类由 表示{-1,1}

我的代码如下:

谢谢!

*编辑1:看来,无论我将框约束设置为什么,所有数据点都被视为支持向量。

0 投票
2 回答
356 浏览

math - 机器学习算法的统计比较

我从事机器学习工作。我被困在一件事上。

我想在 10 个数据集中比较 4 种机器学习技术。进行实验后,我得到了曲线下面积值。在此之后,我应用了方差分析分析,这表明 4 种机器学习技术之间存在显着差异。

现在我的问题是哪个测试将得出结论,与其他算法相比,特定算法表现良好,我只想要机器学习技术中的一个赢家。

0 投票
0 回答
736 浏览

matlab - 在MATLAB中对Logistic回归进行交叉验证获得ROC曲线

我正在尝试计算交叉验证的 ROC 曲线。特别是参数 AUC(曲线下面积)和 OPTROCPT(最佳 ROC 点)。我想我可以通过平均每次迭代的 AUC 和 th OptROCPt 来计算它们,但我没有得到正确的结果。我究竟做错了什么?

我的代码是:

最好的问候,弗兰克

0 投票
2 回答
5330 浏览

pandas - Scikit ROC auc 引发 ValueError:y_true 中仅存在一个类。在这种情况下没有定义 ROC AUC 分数

尝试创建 ROC 曲线。

ValueError:y_true 中只有一个类。ROC AUC 分数在这种情况下没有定义。

0 投票
2 回答
3122 浏览

r - R中的随机森林评估

我是 R 的新手,我正在努力创建我的第一个模型。我在一个 2 类随机森林项目中工作,到目前为止,我已经对模型进行了如下编程:

我不确定为什么我没有得到模型的整体预测。我的代码中一定遗漏了一些东西。我得到了测试集中的 OOB 和每个案例的预测,但没有得到模型的整体预测。

这根本行不通。

我已经阅读了 pROC 手册,但我无法理解所有内容。如果任何人都可以帮助编写代码或发布指向一个好的实用示例的链接,那将非常有帮助。

0 投票
0 回答
1008 浏览

r - 来自 Biomod2 的 ROCR 的 R AUC

我必须得到 AUC(ROC 曲线下的面积)来评估我的模型。我正在使用带有 Biomod2 包的 SRE 模型。

Biomod2 通过evaluate()函数给我 AUC 值,这很好。然后我尝试用 ROCR 包检查 AUC,我遇到了一个大问题:evaluate() (Biomod2) 和 ROCR 的 AUC 值不一样。(对于其他一些没有在Biomod2上实现的模型,我必须使用ROCR包,所以我很着急。)

现在我正在尝试使用可重现的示例(来自 Biomod2 包的代码)来查找问题,但出现错误。

首先,来自 Biomod2 包的代码(可重现的示例):

然后,从 ROCR 获取 AUC 的部分:

我遇到的问题是我无法从 myResp 和 myBiomod_raster 创建 data.frame,因为length(myResp)= 2488 并且 myBiomod_raster 的长度是 5640。

错误是:参数暗示不同的行数

你知道如何使用这个 Biomod2 包示例中的数据来获得相同的行数吗?

非常感谢!

0 投票
1 回答
1252 浏览

r - AUC 包 - AUC 错误 - r 编程

我正在尝试使用 R 中的 AUC 包来获得 AUC 图。我不确定错误,这种拟合的新方法是经过训练的模型:测试是测试数据

我在这里得到的输出为:

包中的代码是:

警告信息是:

警告消息:在 is.na(x) 中:is.na() 应用于“NULL”类型的非(列表或向量)

更新:

得到曲线下的面积

性能(roc_pred,“auc”)@y.values 头(dt)

0 投票
1 回答
5659 浏览

r - 使用 ROCR 计算最大灵敏度与特异性的临界值

我正在尝试计算最大灵敏度与特异性的截止点。我正在使用 ROCR 包,并且我设法绘制了图形灵敏度与特异性。但是,我不知道如何计算最大灵敏度与特异性的截止点。理想我想在图表中有一个标签,显示该点的截断和坐标。但是,任何解决这个问题的建议都将不胜感激。

0 投票
1 回答
5371 浏览

r - 如何从分类树概率中绘制 ROC 曲线

我正在尝试用分类树概率绘制 ROC 曲线。但是,当我绘制曲线时,它不存在。我正在尝试绘制 ROC 曲线,然后从曲线下的区域中找到 AUC 值。有谁知道如何解决这一问题?如果可以的话,谢谢。二元列 Risk 代表风险错误分类,我认为这是我的标签。我应该在代码中的不同点应用 ROC 曲线方程吗?

这是数据框:

这是此代码输出的 ROC 曲线,但缺少该曲线:

在此处输入图像描述

我又试了一次,这条ROC曲线是错误的

在此处输入图像描述

我使用以下代码构建了上述数据框:

包含所有数据的初始数据帧称为 shuffle.cross.validation2

使用包 rpart() 运行分类树

预测预测数据和实际数据

使用 NA 创建两列(实际和预测分类率)

创建二元预测列

为上述 V4 和 G8 两个族创建预测概率和实际概率

朴素贝叶斯

在此处输入图像描述

使用 caret 包的原始朴素贝叶斯代码

结果