问题标签 [roc]

我想在 rms 包中使用 lrm 函数创建一个逻辑回归分类表，然后绘制 roc 曲线。我使用 glm 函数执行了此操作。示例代码

如何使用 lrm 函数获取混淆矩阵？

我被下一个问题困住了。我将我的数据分成 10 份。每次，我使用 1 折作为测试集，另外 9 折作为训练集（我这样做十次）。在每个训练集上，我进行特征选择（使用 chi.squared 过滤方法），然后使用我的训练集和所选特征制作 SVM 模型。
所以最后，我变成了 10 个不同的模型（因为特征选择）。但是现在我想从这个过滤器方法中制作 R 中的 ROC 曲线。我怎样才能做到这一点？

丝绸

例如，当我在 R（pROC 包）中使用 multiclass.roc 函数时，我通过随机森林训练了一个数据集，这是我的代码：

结果是：

这是正确的吗？谢谢！！！

“pROC”参考： http: //www.inside-r.org/packages/cran/pROC/docs/multiclass.roc

我在 R 中遇到了一个 3 类 ROC 分析的问题，得到了一个非常烦人的结果（见这里）。现在我尝试使用不同的方法来解决它。数据是iris，分类器是nnet包中的多项逻辑回归。代码如下：

我的问题是：
这是使用pROC包的正确方法吗？
非常感谢！！！

一些相关参考：
pROC包： http: //www.inside-r.org/packages/cran/pROC/docs/multiclass.roc
Hand & Till(2001)原论文： http: //link.springer.com/article/10.1023%2FA%3A1010920819831

I am trying to calculate accuracy using ROCR package in R but the result is different than what I expected:

Assume I have prediction of a model (p) and label (l) as following:

And I am calculating accuracy of this prediction using following commands:

but the result is .8 which according to accuracy formula (TP+TN)/(TN+TP+FN+FP) should be .6 I don't know why?

我有一个二元分类器，如果输入 X 的预测值低于某个阈值（例如T），则它将输入 X 分类为零类，否则将其分类为零类。
我有每个输入的所有预测值和实际值。所以我可以同时拥有输入的预测类和实际类。

现在我想用 MATLAB 获得这个分类器的 ROC 曲线。我该怎么做？

我正在尝试使用 ROCR 绘制 ROC 曲线，以评估二项式 logit 模型的拟合优度。（我的数据库名为“stat”）我通过以下方式正确获取模型：

但是当我运行 ROCR 命令时：

我总是收到错误“预测和标签的交叉验证运行次数必须相等”。

有人可以帮助我理解错误吗？谢谢

我使用了以下 R 包：mice、mitools和pROC.

基本设计：在 n~1,000 上缺失数据率介于 5% 和 70% 之间的 3 个预测指标。1 个二元目标结果变量。

分析目标：确定 3 个预测变量中的每一个的 AUROC。

我用这个mice包来估算数据，现在有m个估算数据的数据集。使用以下命令，我可以获得m个数据集的每一个的 AUROC 曲线：

我可以毫无问题地看到每个m个数据集的估计值。

为了组合参数，我尝试使用 mitools

我收到以下错误消息： "Error in pool(fit): Object has no vcov() method"。

当组合来自m个数据集的系数估计时，我的理解是这是系数的简单平均值。但是，误差项更复杂。

我的问题：如何合并“m”ROC 参数估计值（AUROC 和 95% CI 或 SE）以获得对显着性检验/95% 置信区间的误差项的准确估计？

感谢您提前提供任何帮助。

我有一个包含多个离散标签的数据集，比如 4、5、6。在此我运行 ExtraTreesClassifier（我还将在相同的数据上运行 Multinomial logit afterword，这只是一个简短的示例），如下所示。：

问题是 -是否有类似平均 ROC 曲线的东西- 基本上我可以将所有 tpr 和 fpr 分别加起来以获得每个标签值，然后采取手段（顺便说一句有意义吗？） - 然后只需调用

我假设，我会得到类似于这个后记的东西——但在这种情况下我如何解释阈值？ 如何为 knn 模型绘制 ROC 曲线

因此，还请提及在这种情况下我是否可以/应该获得单独的阈值，以及为什么一种方法（统计上）优于另一种方法？

到目前为止我尝试过的（除了平均）：

在更改 pos_label = 4 ，然后 5 & 6 并绘制 roc 曲线时，我发现性能非常差，甚至低于 y=x （完全随机且 tpr=fpr 情况）我应该如何解决这个问题？

我正在使用 ROCR 来获取 AUC 指数。我还想要 AUC 的标准错误，但在默认输出中它们没有显示。有没有办法获得它们？

例子：

提前感谢您的帮助！