问题标签 [roc]

我一直在研究机器学习概念，但我仍然无法正确掌握我可以使用哪个属性来确定什么可以告诉我系统的真实准确性（如果它是 TPR 或正确分类的实例）

我也在寻找 ROC 和 Kappa Statistic 的一个很好的解释。据我所知，ROC 衡量系统正在学习多少，而 Kappa 衡量系统在猜测多少。不过，这些都是我们有多年经验的教授的解释。查看其他技术文档，我们无法弄清楚他所说的这些术语是什么意思。

所以，我只需要知道什么可以说明我的算法的准确性，以及如果算法好的需要支持哪些属性，例如 ROC 和 Kappa 统计量。

请帮忙！非常感谢！

我编写了以下代码来获得“分类准确度”与“阈值”的关系图：

（数据集的基本事实包含两个标记为“好”或“坏”的类）

此外，我对相同数据集运行 ROC 分析，即基本事实包含两个标记为“好”或“坏”的类

为什么Thr(15)=0.7711不同于OPTROCPT(2)=0.8667?

ROC得到的最佳截止点（即最佳阈值OPTROCPT）是LDA精度最高的那个吗？

或者也许我错了，那么到底perfcurve(groundTruthNumericalLable(:,1), LDAScore(:,1), 1,'yCrit','accu')告诉我们什么？

我编写了以下代码来获取我的 KNN 分类器的 ROC 图：

然后我们可以绘制 FPR 与 TPR 的曲线来获得 ROC 曲线。

但是，FPR 和 TPR 与我使用自己的实现得到的不同，上面的代码不会显示所有的点，实际上，上面的代码只显示 ROC 上的三个点。我实现的代码将在 ROC 上显示 151 个点，因为数据大小为 150。

请问如何调' perfcurve'让它输出ROC的所有分数？非常感谢。

一种。

我最近基于本文中描述的算法实现了一个词袋分类算法。

一切都很好，但我想使用 ROC 曲线或精确召回图来测量分类器的准确性。

我可以很容易地得到每个分类器的混淆矩阵，但我不知道我应该改变什么参数来获得更多的点并实际绘制曲线。

有人可以向我解释一下吗？

我有两个使用 pROC 包绘制 ROC 曲线的问题。

A.显着性水平或 P 值是当 ROC 曲线下的真实（总体）面积为 0.5（零假设：面积 = 0.5）时，发现观察到的样本 ROC 曲线下面积的概率。如果 P 很小（P<0.05），则可以得出结论，ROC 曲线下面积与 0.5 显着不同，因此有证据表明实验室测试确实具有区分两组的能力。

因此，我想计算ROC曲线下的某个面积是否与0.50显着不同。我发现使用 pROC 包比较两条 ROC 曲线的代码如下，但不知道如何测试它是否为 0.5 显着。

B.我对我的分类问题进行了 k 折交叉验证。例如，5 折交叉验证将产生 5 条 ROC 曲线。那么如何使用 pROC 包绘制这 5 条 ROC 曲线的平均值（我想要做的是在这个网页上解释但在 Python 中完成：在此处输入链接描述）？另一件事是我们能否获得这条平均 ROC 曲线的置信区间和最佳阈值（类似于下面实现的代码）？

参考：

http://web.expasy.org/pROC/screenshots.html

http://scikit-learn.org/0.13/auto_examples/plot_roc_crossval.html

http://www.talkstats.com/showthread.php/14487-ROC-significance

http://www.medcalc.org/manual/roc-curves.php

I'm currently try to implement the calculation of a ROC curve in ruby. I tried to transform the pseudocode from http://people.inf.elte.hu/kiss/13dwhdm/roc.pdf (see 6th site, chapter 5, Algorithm 1 "Efficient Method for generating ROC points") into Ruby code.

I worked out a simple example, but I'm always getting values over 1.0 for recall. I think I misunderstood something, or made a mistake at programming. Here is what I gor so far:

Based on a results array of arrays, the code tries to calculate the points. I'm not sure what the f_prev is all about. Is in the f_prev the score of the classifier stored, or only if it's true or false?

It would be awesome, if someone could have a quick look at my code, and help me find my mistake. thx!

我有一些模型，ROCR在预测类百分比的向量上使用包，我有一个性能对象。用规格“tpr”、“fpr”绘制性能对象会给我一条 ROC 曲线。

我正在比较某些误报率 (x) 阈值的模型。我希望从性能对象中获得真阳性率 (y) 的值。更重要的是，我想获得用于生成该点的班级百分比阈值。

x-value最接近阈值但不超过阈值的误报率 ( ) 的索引号应该给我适当的真阳性率 ( y-value) 的索引号。我不确定如何获得该索引值。

更重要的是，我如何获得用于说明这一点的类概率阈值？

我有一个分类器，可以预测二元类数据集的概率和类别。我想将它与另一个只输出每个案例的二进制类的预测器进行比较。我获得了性能分数，但现在我需要显示 ROC 曲线的差异。我可以使用 R 中的 ROCR 和 pROC 等包绘制连续预测（概率）的 ROC 曲线。由于第二个预测器只输出二进制类，我四处寻找可以用来绘制离散预测（二进制）的 ROC 曲线的东西. 我在 python 中找到了一些脚本plotroc.py但我在 R 中找不到任何类似的东西。谁能指出我可以用来为我的数据绘制 ROC 曲线的一些 R 包或其他可靠的包？

谢谢！

我对 R 相当陌生。我正在使用 R 中的 ROCR 包来计算 AUC，我可以为一个预测器做这件事。我要做的是为 100 个不同的变量执行许多 AUC 计算。

到目前为止，我所做的如下：

但是，公式是文本格式，而 as.formula 给了我一个错误。任何帮助表示赞赏！提前致谢！

我有来自 svmlight 的输出，它有 x=predictions (0.1,-0.6,1.2,-0.7...)，y=actual class {+1,-1}。我想为 10 个特定的不同阈值创建一条 ROC 曲线（让 t 成为包含 10 个不同阈值的向量）。我检查了 ROCR 包，但没有看到任何提供阈值向量的选项。我需要为每个阈值和绘图计算 TPR 和 FPR。有没有其他方法可以做到这一点？我是 R 编程的新手。