nlp - 用kappa系数评价众包结果

Question

我有 4 组由 4 个不同的人手动标记的 0 和 1 数据。我必须使用 4 组手动标记的数据以 0 和 1 的形式获得最终的标记数据。我计算出用户之间的一致程度为 AB : 0.3276, AC : 0.3263, AD : 0.4917, BC : 0.2896, BD : 0.4052, CD : 0.3540。

我不知道如何使用它来计算最终数据作为一个集合。请帮忙。

Answer 1

Kappa 系数仅适用于一对注释器。对于两个以上，您需要使用它的扩展。这样做的一种流行方法是使用Richard Light 在 1971 年提出的这种扩展，或者使用Davies 和 Fleiss 在 1982 年提出的所有注释器对的平均预期一致性。我不知道有任何现成的计算器可以为您计算这些，因此您可能必须自己实现代码。

但是，在 Fleiss 的 kappa 上有这个 Wikipedia 页面，您可能会发现它很有帮助。

这些技术只能用于名义变量。如果您的数据不在名义尺度上，请使用不同的度量，例如类内相关系数。