2

我计划使用精确召回图（PR 图）来比较模型。请参阅下面的附图（部分截图，对不起！）。显然，我手头有真阳性、真阴性、假阳性和假阴性，并且我需要每个模型的单个汇总数量。以下是我的问题：

  1. PR曲线下面积（AUC）是第一个量，但我不知道如何在R中计算它。我不想使用任何包，ROCR因为所有代码都是我自己写的，我希望自己写代码使用可用的数量。似乎有很多方法——我希望知道哪一种是最可实现的。

  2. 另一个量是F-measure：结合precision和recall的度量是precision和recall的调和平均值，传统的F-measure或平衡F-score。但是，我很好奇这是否比 #1 中的 AUC 更好，或者他们描述的是不同的东西？此外，由于我有一堆 Recall 和 Precision 值，在这种情况下如何计算单个 F 度量（见下图）。

谢谢！

在此处输入图像描述

4

1 回答 1

3

要计算曲线的 AUC，可以使用caTools包trapz()中的数值积分函数。

auc <- trapz(recall, precision)

F 分数是给定截止值的调和平均值。在您的情况下，您会为每条曲线获得许多 F 分数，因此它不会按照您的喜好总结曲线。

AUC 描述了模型在模型连续输出的可能值上的性能。F-score 描述了一个特定切割点的模型。它更像是一种将召回率和精度结合到一个统计数据的方法。

不过解释的时候要小心。通常，AUC 是在敏感性和特异性的背景下讨论的。

于 2013-10-31T20:59:10.490 回答