math - 评估者间协议（Fleiss 的 Kappa、Krippendorff 的 Alpha 等）Java API？

Question

我正在建立一个问题分类/回答语料库作为我硕士论文的一部分。我正在考虑评估与评估者间协议/可靠性有关的预期答案类型分类法，我想知道：有人知道可以做到这一点的任何体面的（最好是免费的）Java API吗？

我有理由确定此时我只需要 Fleiss 的 Kappa 和 Krippendorff 的 Alpha。

Weka 在它的评估包中提供了一个 kappa 统计，但我认为它只能评估一个分类器，我还没有到那个阶段（因为我还在构建数据集和类）。

谢谢。

Answer 1

我将 Fleiss 的 kappa 的 matlab 实现移植到 Python/numpy。

http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py

实现起来并不难，或许你可以自己移植到Java。

Answer 2

检查 QDAP（匹兹堡大学）开源代码。

Answer 3

我无法及时找到现有的 Java API 来进行研究，所以我最终自己实现了 Fleiss 的 Kappa 和 Krippendorff 的 Alpha。我们的研究的初步结果可以在本文中找到。