precision-recall - 精度、召回率和 F 分数

Question

我正在开发一个基于信息检索概念的新系统。我的系统从网上检索研究文章的 pdf 和 ppt 文件。当我计算系统的精度、召回率和 f-score 时，我产生了疑问。我想从小组成员那里澄清一下。怀疑是精度、召回率和 f-score 之间是否存在巨大差异。因为我计算的精度为 0.913，召回率非常低，如 0.3234，f 分数约为 0.4323 等。这可能吗？我的意思是精确度和召回率会有这么大的差异，或者我计算错误。！！请提供您的建议以及您对一些注释的引用.. 谢谢..

Answer 1

这是很有可能的——你可以有低精度和高召回率，反之亦然。

例如，如果您返回整个数据库，您将有 100% 的召回率，但准确率非常低。

在您的情况下，这意味着您没有返回很多“假”数据（您返回的所有内容都是“真”），但是您忘记了返回 70% 的数据。

Answer 2

低召回率和高精度是很常见的。这只是意味着分类器非常保守 - 说样本为正（低召回率）并没有太大风险，因此当它这样做时，它对此非常有信心（高精度）。

Answer 3

当我们使用 Recall 和 Precision 等指标测量任何经过训练的分类器的准确度时，这些值可能会在大/小量上有所不同。

召回率以 TP/(TP+FN) 衡量，即召回率处理假阴性。

精度测量为 TP/(TP+FP)，即精度处理误报。

所以 Recall 和 Precision 的差异取决于 FP 和 FN。