我与Psiturk、jspsych和 Pybossa 合作了一段时间。在完成每一项工作后，我体验到 Pybossa 正在做与 Psiturk 相同的工作，除了 Psiturk（具有使用 jspsych 设计的 GUI 界面）可用于直接与 Amazon Mechanical Turk 集成。
我是所有这些开源平台的新手，并希望对微任务进行评估。每个人都在做的是存储数据，提供平台来管理用户，处理工作流程；我需要评估这些实验的结果，以计算我们所说的 Cohen 的 Kappa 和 Fleiss 的 Kappa 系数。如何才能做到这一点？