cluster-analysis - 如何计算聚类中的精度和召回率？

Question

我真的很困惑如何在集群应用程序中计算精度和召回率。

我有以下情况：

给定两个集合 A 和 B。通过为每个元素使用唯一键，我可以确定 A 和 B 的哪些元素匹配。我想根据功能对这些元素进行聚类（当然不使用唯一键）。

我正在做聚类，但我不确定如何计算精度和召回率。根据论文“Extended Performance Graphs for Cluster Retrieval”（http://staff.science.uva.nl/~nicu/publications/CVPR01_nies.pdf），公式为：

p = 精度 = 相关检索项目/检索项目和 r = 召回 = 相关检索项目/相关项目

我真的不知道哪些元素属于哪个类别。

到目前为止，我所做的是，我在集群中检查了我有多少匹配对（使用唯一键）。这已经是精确度或召回率之一了吗？如果是这样，它是哪一个，我如何计算另一个？

更新：我刚刚在http://mtg.upf.edu/files/publications/unsuperf.pdf找到另一篇题为“An F-Measure for Evaluation of Unsupervised Clustering with Non-Determined Number of Clusters”的论文。

score 8 · Accepted Answer

我想你会发现 wikipedia 上有一篇关于精确率和召回率的有用文章。简而言之：

精度 = 真阳性 /（真阳性 + 假阳性）

召回=真阳性/（真阳性+假阴性）

score 8 · Accepted Answer

在我在访问聚类方法方面所做的一些研究中，我一直在使用其他几种聚类有效性度量。如果您有一个标有类（监督聚类）的数据集，您可以使用上面提到的精度和召回率，或者纯度和熵。

一个簇的纯度=最频繁类的出现次数/簇的大小（这个应该很高）

集群的熵 = 衡量类在集群中的分散程度（这应该很低）

在没有类标签（无监督聚类）的情况下，内部和内部相似性是很好的衡量标准。

单个集群的集群内相似度 = 集群内所有对的平均余弦相似度（这应该很高）

单个集群的集群间相似度 = 一个集群中所有项目与其他集群中所有项目相比的平均余弦 sim（这应该很低）

与无监督 F-measure 的链接很好，我现在正在研究。

score 2 · Accepted Answer

我对这个问题的看法是：

一组 A 和 B 中的一组是“正”组。假设 A 为正

鉴于对于簇中 A 的元素

然后只需使用

精度 = 真阳性 /（真阳性 + 假阳性）

召回=真阳性/（真阳性+假阴性），正如某人所说

score 1 · Accepted Answer

我觉得你的定义有问题。

准确率和召回率适用于分类问题，分类问题基本上是两簇问题。如果您聚集成“好项目”（=检索到的项目）和“坏项目”（=未检索到的项目）之类的东西，那么您的定义将是有意义的。

在您的情况下，您计算了所有项目中正确聚类的百分比，这有点像精度，但不是真的，因为正如我所说的定义不适用。

score 1 · Accepted Answer

有关评估聚类算法的方法，请参见“信息检索简介”第 18 章（胖聚类）。 http://nlp.stanford.edu/IR-book/html/htmledition/flat-clustering-1.html

本书的这一部分也可能很有用，因为它讨论了精度和召回率等指标：http: //nlp.stanford.edu/IR-book/html/htmledition/evaluation-of-unranked-retrieval-sets-1.html

score 1 · Accepted Answer

精度和召回率的问题在于，它们通常要求您了解“真实”标签是什么，而在许多情况下（以及在您的描述中）您不知道标签，但您知道要比较的分区反对。我可能会建议调整后的兰德指数：

score 0 · Accepted Answer

如果您将其中一组（例如 A）视为黄金聚类，而将另一组 (B) 视为聚类过程的输出，则（精确）精度和召回值可以估计为：

精度 =（A 和 B 共有的元素数）/（B 中的元素数）

召回率 =（A 和 B 共有的元素数）/（A 中的元素数）

从这些标准 F 测量也可以估计。

7 回答 7