问题标签 [precision-recall]

我真的很困惑如何在集群应用程序中计算精度和召回率。

我有以下情况：

给定两个集合 A 和 B。通过为每个元素使用唯一键，我可以确定 A 和 B 的哪些元素匹配。我想根据功能对这些元素进行聚类（当然不使用唯一键）。

我正在做聚类，但我不确定如何计算精度和召回率。根据论文“Extended Performance Graphs for Cluster Retrieval”（http://staff.science.uva.nl/~nicu/publications/CVPR01_nies.pdf），公式为：

p = 精度 = 相关检索项目/检索项目和 r = 召回 = 相关检索项目/相关项目

我真的不知道哪些元素属于哪个类别。

到目前为止，我所做的是，我在集群中检查了我有多少匹配对（使用唯一键）。这已经是精确度或召回率之一了吗？如果是这样，它是哪一个，我如何计算另一个？

更新：我刚刚在http://mtg.upf.edu/files/publications/unsuperf.pdf找到另一篇题为“An F-Measure for Evaluation of Unsupervised Clustering with Non-Determined Number of Clusters”的论文。

现在我要报告命名实体识别的结果。我发现有点令人困惑的一件事是，我对精确度和召回率的理解是简单地总结了所有类别的真阳性、真阴性、假阳性和假阴性。

但是现在这似乎不可信，因为我认为每个错误分类都会同时产生一个假阳性和一个假阴性（例如，一个应该被标记为“A”但被标记为“B”的标记对于“A”和“B”的误报）。因此，所有类别的误报和误报的数量将是相同的，这意味着精度（总是！）等于召回率。这根本不可能是真的，所以我的推理有误，我想知道它在哪里。这当然是一件非常明显和直接的事情，但它现在让我无法理解。

excel中有一个数据集，其中包含A列中的一些标签（我称之为集群标签）和B列中的一些属性（我称之为集群组件）。这些数据显示了最好的聚类结果。

但我不知道如何在 rapidminer 中使用这些数据计算其他聚类方法的召回率和精度！

有谁能够帮我？

我正在寻找基于用户的协作过滤的 Java 中非常简单的实现。我想用 movielens 数据集评估这个 CF 的精度和召回率。我已经看到性能（F1）应该在 20% 到 30% 左右（具有 Pearson 相似性和 KNN）。

这个简单的框架是否存在于精度和召回代码的评估中？

我正在开发一个基于信息检索概念的新系统。我的系统从网上检索研究文章的 pdf 和 ppt 文件。当我计算系统的精度、召回率和 f-score 时，我产生了疑问。我想从小组成员那里澄清一下。怀疑是精度、召回率和 f-score 之间是否存在巨大差异。因为我计算的精度为 0.913，召回率非常低，如 0.3234，f 分数约为 0.4323 等。这可能吗？我的意思是精确度和召回率会有这么大的差异，或者我计算错误。！！请提供您的建议以及您对一些注释的引用.. 谢谢..

我rpart在 R 中使用分类器。问题是 - 我想在测试数据上测试经过训练的分类器。这很好——我可以使用这个predict.rpart功能。

但我也想计算精度、召回率和 F1 分数。

我的问题是 - 我是否必须自己为这些函数编写函数，或者 R 或任何 CRAN 库中是否有任何函数？

我想知道如何计算多类多标签分类的精度和召回度量，即有两个以上标签的分类，每个实例可以有多个标签？

我使用 lucene 基准测试来测量原始代码中的精度和召回率，有两个文件，主题文件：

和 qrels 文件：

据我了解，这两个文件是文本文件。但我不知道我需要用什么来填充这两个文件，它们是我手动编写的，还是有一些代码可以用所需的信息填充它们。

我需要有关 lucene 程序中这种精度和召回率测量的任何帮助

谢谢

我正在尝试绘制精确召回曲线，但我有比相关文档更多的文档推荐。假设对于一个训练示例，只有 3 个相关文档：A、C、E。但它可能是从 A 到 Z 的所有文档。然后我将其向量化为：

原始 = [1, 0, 1, 0, 1, ... ]

假设我的预测对 A、C、E 具有最大的值，而对所有其他文档具有较小的值：

预测 = [0.9, 0.1, 0.8, 0.1, 0.7, ... ]

然后我计算前 k 个预测的精度和召回率，首先仅使用具有 {0.9} 的预测，然后使用 {0.9 , 0.8} 和 {0.9, 0.8, 0.7} 的预测。在那之前我的精度是1。但是在那之后，精度只能下降，因为没有更多的相关文件。继续用 {0.9, 0.8, 0.7, 0.1, ...} 计算精度/召回率是否正确？

我想我通过提问找到了这个缺陷，当我返回建议 {0.9, 0.8, 0.7} 时，不仅精度为 1，而且召回率也是如此。那我应该停下来退回文件，对吧？

编辑：解释是可以返回更多文档，但是在返回所有相关文档后，召回率保持为 1，并且精度直线下降。

假设我正在使用“A”和“B”两种方法评估一些文本分类研究项目。使用方法“A”时，精度提高了 x%，而使用“B”时，召回率提高了 x%。我怎样才能说 A 或 B 方法更好？