问题标签 [precision-recall]

我对 scikit learn 中的精度和召回值有疑问。我正在使用该功能SGDClassifier对我的数据进行分类。为了评估性能，我使用了精度和召回功能precision_recall_fscore_support，但每次运行程序时，我在精度和召回矩阵中都有不同的值。我怎样才能拥有真正的价值观？我的代码是：

谢谢

我正在学习精确和回忆文件，但我无法理解这个特定问题。

下表显示了由 A 和 B 表示的两个排名检索搜索引擎返回的前 6 个结果的相关性。“+”表示相关文档，“-”表示非相关文档。

假设集合中相关文档的总数为 4，计算前 1、2、3、4、5 和 6 个结果的两个引擎的精确召回值。

为搜索引擎 A 给出的解决方案是：

精度：--100%--|--50%--|--33.3%--|--25%--|--40%--|--50%--|
召回：------25%--|--25%--|--25%-----|--25%--|--50%--|--75%-- |

B的解决方案：

精度：--|100%--|--100%--|--66.6%--|--50%--|--60%--|--50%--|
召回：----|---25%---|--50%----|--50%-----|--50%--|--75%--|- -75%--|

我知道如何计算单个文档，Precsion = TP/(TP+FP) 和 Recall 是 TP/(TP+FN)。我只是不确定上面的一些值是如何计算的。

我有三个精度和召回值，如下所示：

上面的值显示当精度为 0.4 时，召回率为 0.45，反之亦然，我想将这些结果绘制在一个图表中，该图表应显示精度和召回值相对于彼此的增加和减少。

我想在一个图表中显示这些值的结果，该图表应该显示 3 条具有不同颜色的曲线（线）以用于不同的表示。

我正在交叉验证一个 sklearn 分类器模型，并希望快速获得精度、召回率和 f 分数的平均值。我怎样才能获得这些值？

我不想自己编写交叉验证，而是使用函数 cross_validation.cross_val_score。通过提供适当的评分功能，是否可以使用此功能来获得每个标签的预期平均值？

我想评估一个时尚电子商务网站的基于 mahout 的推荐引擎。他们使用有关一起购买的商品的购物卡信息 - 如此布尔值。我想使用精度和召回率来评估引擎。

1）如何使用这些指标来评估推荐引擎？是否可以在更改算法时使用这些值然后对自己进行检查？

2）或者与其他算法（也使用布尔数据）进行比较是否有意义？如果是，是否有任何可用的精度和召回基准（例如，如果精度为 x，召回率为 y，那么算法应该被丢弃或接受）？

希望得到帮助，我提前谢谢你们！

我有一个条形图，它计算三种不同方法的进动和召回，并用三种不同的颜色表示它们，我使用的代码如下

我想添加一个应该显示的图例maroon color is for indiscernible relation，green is for discernible relation并且blue is for equivalence relation

您通常如何从 Vowpal Wabbit 中针对分类问题创建的模型中获得准确率、召回率和 f 度量？

是否有任何可用的脚本或程序通常用于大众的输出？

使用 playtennis.txt 中的以下数据做一个最小的例子：

我使用以下方法创建模型：

然后，我通过以下方式获得训练模型对训练数据本身的预测和原始预测：

从这里开始，在给定训练数据playtennis.txt和对训练数据的预测的情况下，您通常使用哪些脚本或程序来获得精度、召回率和 f 测量playtennis.predict？

此外，如果这是一个多标签分类问题（每个实例可以有多个目标标签，vw 也可以处理），您提出的脚本或程序是否能够处理这些问题？

I am working on movielens 100K movie data for recommendation system. I divide the data into test and training and calculate the precision and recall. In testing there are more than 10K users chosen randomly. I am able to find the precision and recall for an individual user.

I wanted to know: Is there any practical importance to the aggregated precision and recall?

IR 等系统的一些指标是精度和召回率。然而，他们的定义很明确，但我怀疑当一个系统没有返回任何输出时，我们应该考虑它的精度 1 还是零。还是我们应该区分它们是否不是黄金答案或在这种情况下计算精度？

如果这个问题是题外话，我会很感激如果指导我我在哪里可以问这个？

谢谢

我想知道 scikit-learn 分类报告中显示 avg / total 的最后一行是什么意思？是宏观平均还是微观平均？例如，在从文档中获取的下表中，什么是