mechanicalturk - 如何设置资格考试的最低及格分数？

Question

我想使用 AMT 的命令行界面创建资格测试。此测试将仅使用 AMT 可以自动评分的问题类型。我可以为每个问题设置单独的分数，但找不到任何关于如何设置测试最低及格分数的文档。例如，如果一个工人的分数低于 80，我希望他们考试不及格。如果他们的分数超过 80，我希望他们通过考试。

Answer 1

资格测试不像通过/失败那样工作。它分配一个 QualificationScore。您可以使用 AnswerKey 中的 QualificationValueMapping 将测试分数转换为一组特定的资格分数（请参阅：http ://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_AnswerKeyDataStructureArticle.html ）。通过/失败元素必须是特定 HIT 的 QualificationRequirement 的一部分 - 即，“通过”应该意味着分数高于 QualificationRequirement 的阈值，而失败应该低于该阈值。然后，映射将允许您将总分转换为例如高于和低于要求阈值的值。