1

背景

我正在机械土耳其人上设置数据注释任务。用户必须为成对的句子打分。每对句子都有一个带有 7 个单选按钮的表格。对于每个这样的表，用户必须给出答案。

问题

文档中有 194 个这样的表，因此很容易漏掉一个。如果用户在点击提交时错过了一个或多个问题，则不会警告用户其中一个问题尚未得到回答，这迫使我们因为一个简单的遗漏而拒绝他们的输入。

限制

不幸的是，我们没有将每个表作为单独的匹配提交的选项，因为：

a) 我们需要知道单个用户的完整数据集的分数是多少。

b) 我们有用户必须回答的质量控制问题，但无法告知他们是哪些问题。

问题

是否有一种简单的方法可以确保用户通过以下方式回答每个问题：

a) 如果他们没有回答所有问题，是否提出警告？如果是这样，这是如何完成的？

b）在单独的页面上显示每个表格，用户必须单击“下一步”才能获得下一个表格，在这种情况下仍然有可能错过一个但不太可能（因为您不必向下滚动大页面） ? 如果是这样，这是如何完成的？

提前感谢您为解决此问题提供的任何帮助或解决方案。

4

1 回答 1

3

查看mTurk API 文档并特别查看QuestionFormStructure部分。

如果您格式化您的问题并添加 IsRequired 标志，如果您没有明确设置它，则默认为 false。

<Question>
  <QuestionIdentifier>my_question_id</QuestionIdentifier>
  <DisplayName>My Question</DisplayName>
  <IsRequired>true</IsRequired>
  <QuestionContent>
    [...]
  </QuestionContent>
  <AnswerSpecification>
    [...]
  </AnswerSpecification>
</Question>

但是，如果您在单个 HIT 中有 194 个这些表，则最好将其作为外部问题进行，这样您就可以添加一些 javascript 来帮助人们更快地导航到他们错过的部分。

于 2011-11-16T12:11:26.993 回答