caffe - 在 Caffe 中计算 ROC 和 AUC？

Question

我在 Caffe 中训练了 imagenet。现在我正在尝试为我的模型和 caffe 提供的训练模型计算 ROC/AUC。我有两个问题：

1) ROC/AUC 主要用于二元类，但我也发现在某些情况下人们将它用于多类。1000个班可以吗？它的影响是什么？正如评论中的那样，人们在多类问题中没有对 ROC/AUC 给出好的答案。

2）如果可能的话，比较两个基于 ROC/AUC 的模型将是一个好主意，有人能告诉如何在 Caffe 中为这 1000 个类做这件事吗？我是否必须从头开始重新训练模型，还是只能使用最终训练的模型进行计算？

问候

Answer 1

这个讨论很好地解决了多类 ROC/AUC 分析。回答您的问题：

1. 您可以为每个类进行多个一对多分类，从而构建多个 ROC 曲线。

2. 计算了 1000 个 AUC 值后，您可以得出所有类的平均 AUC，并使用此指标来比较模型的优劣。不，您不需要重新训练模型。

此外，请注意 ROC/AUC 指标非常具体，主要用于语音识别等检测/生物测量任务。