confusion-matrix - 为多类多标签分类构建混淆矩阵

Question

我想为多类多标签分类建立一个混淆矩阵，然后计算精度、召回率和 F1。一个想法是从训练和测试集中的所有组合中构建它，例如

       A1 A2A3 A1A3
A1     x    x   x
A2A3   x    x   x 
A1A3   x    x   x

另一个想法是像简单的标签分类一样构建它，但是对矩阵的值使用双精度值，例如

       A1     A2     A3
A1   double double double
A2   double double double
A3   double double double

这种情况下的问题是如何计算这个值有意义？

有人有构建此类矩阵的经验吗？哪个版本更理性？如果有其他方法可以构建这样的混淆矩阵，很高兴收到您的来信。

问候，安德烈

Answer 1

如果它也让某人感兴趣，这就是它对我的工作方式：由于来自 Gj 的描述，我使用了第一个想法并计算了基于标签的度量。Madjarov 等人，多标签学习方法的广泛实验比较，模式识别 (2012)。

相应的代码可以在评估模块中的 dkpro-tc（DKPro 文本分类框架）中找到。