由于我有二元响应的数据，但很少发生事件，我想通过拟合bgeva模型而不是模型来改进其预测gam。为了证明和比较它的预测准确性并将其与我尝试过的其他模型进行比较，我需要计算 AUC 并绘制 ROC 曲线。

问题是我的代码，它与glmand一起使用gam，不适用于bgeva对象。准确地说，使用该功能会predict()打印错误： no applicable method for 'predict' applied to an object of class "bgeva" 我的朋友 Google 没有为我找到任何解决方案。

这是一个来自包的简单示例bgeva()和我用来计算 AUC 并绘制对象的 ROC 曲线的glm代码gam：

我需要得到经过训练的 SVM 的后验概率输出，而不是二值化输出。在最新版本的 Matlab 中，这可以通过以下步骤完成：

但是，fitcsvm两者fitSVMPosterior都在 R2014a 版本中引入，我使用的是较早的版本。当我将函数的输出传递svmtrain给predict函数时，我收到一条错误消息，指出这struct不是预期的参数类型。

在早期的 Matlab 版本中有没有办法做到这一点？

我首先使用 ROCR 包计算 AUROC（ROC 曲线的 AUC），然后手动（使用我的get_au_curve()函数）如下所示。

不幸的是，这两个结果并不相符。我假设 ROCR 的结果是正确的。我的函数逼近器有问题吗？

这给出了结果：

数据位于页面的最底部，称为 LDA.scores'。这是一个分类任务，我在数据集上执行了三种监督机器学习分类技术。提供所有编码以显示这些 ROC 曲线是如何产生的。我很抱歉问了一个加载的问题，但我已经尝试使用不同的代码组合解决这些问题近两周了，所以如果有人可以帮助我，那么谢谢你。主要问题是朴素贝叶斯曲线显示满分 1，这显然是错误的，我无法解决如何将线性判别分析曲线合并到单个 ROC 图中以与提供的编码进行比较。

1. 在“MASS”包中执行的线性判别分析 (LDA)
2. “kLAR”包中的朴素贝叶斯（NB）
3. “rpart”包中的分类树（CT）

目标

• 单个 ROC 图显示用于比较每种分类技术的 ROC 曲线，并附有图例。
• 计算每种分类技术的曲线下面积

问题

1. 每种分类技术都在不同的 R 包中执行，我无法将这些 ROC 曲线合并到一个图上。所有错误消息都显示在页面底部
2. LDA 和 NB 的 ROC 曲线看起来都是虚假的
3. 我无法应用图例并遇到错误消息

我提供了所有三种技术的编码，因此任何人都可以逐步评估我的逻辑

线性判别分析

构建混淆矩阵来预测类别

绘制判别分数

计算混淆矩阵的函数

更改比例以创建训练和测试集 (70:30)

创建 ROC 曲线的函数

绘制 ROC 曲线

图1

分类树

生成测试和训练集 70:30

使用 70% 的训练集来种植树

使用测试和训练集进行分类树预测 (70:30)

为分类分组因子的二项分布创建二元系统（0 或 1）

绘制 ROC 曲线

图 2

朴素贝叶斯

生成测试和训练集 70:30

建立NB模型并对测试集进行预测

为分类因子的二项分布创建二元系统（0 或 1）

绘制 ROC 曲线 - 这条曲线看起来很可疑

图 3：这条 ROC 曲线显然是错误的

将所有 ROC 曲线绘制到一个图上

错误信息

曲线下面积

我不确定如何计算提供的 LDA 代码的曲线下面积

传奇的制作

此代码产生错误消息

名为 LDA.scores 的数据

是否可以仅通过查看其 ROC 曲线来了解分类器是否过拟合？我看到如果它的 AUC 太高（例如 98%）可能会过度拟合，但这也可能意味着分类器非常好。有没有办法区分这两种情况？

我有 10 多个特征和一万个案例来训练逻辑回归来对人们的种族进行分类。第一个例子是法语 vs 非法语，第二个例子是英语 vs 非英语。结果如下：

但是，我得到了一些看起来很奇怪的 AUC 曲线，它们是三角形而不是锯齿状的圆形曲线。关于我为什么会变得这样的形状有什么解释吗？我犯了什么可能的错误？

代码：

This is a quick question, just to make sure I'm not doing this the dumb way. I want to use auc as my measure in mlr, and I'm also using LOO due to the small sample size. Of course, in the LOO cross validation scheme the test sample is always only one instance, so auc can't be calculated. We can, of course, calculate it afterwards, looking at the predictions, the problem happens when we want to use it as the measure in the inner loop of nested crossvalidation. Something like this (you must define your own binaryTask):

You simply can't use auc like that, in both loops. How could we make mlr evaluate the measure over all the test samples instead of an unique resample each time?

我在 Caffe 中训练了 imagenet。现在我正在尝试为我的模型和 caffe 提供的训练模型计算 ROC/AUC。我有两个问题：

1) ROC/AUC 主要用于二元类，但我也发现在某些情况下人们将它用于多类。1000个班可以吗？它的影响是什么？正如评论中的那样，人们在多类问题中没有对 ROC/AUC 给出好的答案。

2）如果可能的话，比较两个基于 ROC/AUC 的模型将是一个好主意，有人能告诉如何在 Caffe 中为这 1000 个类做这件事吗？我是否必须从头开始重新训练模型，还是只能使用最终训练的模型进行计算？

问候

我正在尝试使用该scikit-learn模块来计算 AUC 并为三个不同分类器的输出绘制 ROC 曲线以比较它们的性能。我对这个主题很陌生，我正在努力理解我应该如何将我拥有的数据输入到roc_curveandauc函数中。

对于测试集中的每个项目，我都有三个分类器中每个分类器的真实值和输出。课程是['N', 'L', 'W', 'T']. 此外，我对分类器输出的每个值都有一个置信度分数。如何将此信息传递给 roc_curve 函数？

我需要label_binarize输入数据吗？如何将[class, confidence]分类器输出的对列表转换为y_score预期的 by roc_curve？

感谢您的任何帮助！有关 ROC 曲线的良好资源也会有所帮助。

我收到了来自 Weka 中协作生成的 AUC 和预测。后面的统计模型经过交叉验证，因此我的预测数据集包括折叠、预测概率和真实类别的列。鉴于 R 中的预测概率，使用此数据我无法复制 AUC。这些值总是略有不同。

额外细节：

• Weka 是通过 GUI 使用的，而不是命令行
• 我用包 pROC 和 ROCR 检查了 R 中的 AUC
• 我首先尝试根据收集的预测计算 AUC（不考虑折叠），我得到了不同的 AUC
• 然后我尝试计算每折的 AUC 并取平均值。这也不匹配。
• 该模型是岭逻辑回归，预测中存在单一联系
• 第一个折叠比其他折叠有一个样本。我试过取一个加权平均值，但这也没有奏效
• 我什至测试了对数变换后的 AUC 平均值（对于正态性）
• 取中位数而不是平均值也无济于事

我熟悉如何在 R 中计算 AUC，但我看不出 Weka 可以做些什么不同的事情。