我正在研究 mTurk 和 qualtrics，并将 mTurk workerID 发送到 qualtrics，在 qualtrics 调查结束时，我将工人 ID 显示为确认码。turker 应将此代码粘贴回 mTurk HIT 的文本框中。我的问题是，一旦他在 HIT 中写回工人 ID，我如何验证他正在输入他在 Qualtrics 调查中看到的代码，而不仅仅是输入任何数字？我在 HIT 中使用 javacript 将 workerid 发送到 Qualtrics。
问问题
2361 次
3 回答
0
对于生成单个确认码的分步说明，我遵循了 Tyler Burleigh 的文章。这是托马斯答案的选项1。
https://tylerburleigh.com/mturk/survey-completion-codes-in-qualtrics/
于 2014-10-25T02:29:48.353 回答
0
有几种可能性，（2）可能是最好的：
- 您可以在 HIT 中使用 Javascript 生成完成代码，并将此代码作为 URL 查询字符串参数传递给 Qualtrics。然后，让 Qualtrics 提取完成代码并在调查结束时将其显示给工作人员。当他们输入代码时，您可以使用 Javascript 函数来检查输入的代码是否与最初发送到 Qualtrics 的代码匹配，并生成一个隐藏的表单字段，该字段被称为类似
correct并输入值“yes”或“no”。然后，您可以批准所有匹配的人。 - 您可以像 (1) 中那样做所有事情，除了配置一个作业级别的 ReviewPolicy来自动拒绝
correct等于“否”的分配。 - 您可以为调查中的每个人提供相同的代码（仅显示在 Qualtrics 中），然后使用作业级别的 ReviewPolicy 直接根据代码的值拒绝。（您不能为每个作业设置具有不同正确答案的“动态”审核策略，因此这可能是最不理想的选项。）
使用这些方法中的任何一种，您都可以简单地提醒工人他们输入了错误的代码。您无法使用在请求者用户界面中创建的 HIT 来阻止提交。如果您改为设置 ExternalQuestion（托管在您自己的服务器上）或 HTMLQuestion（通过 API 创建），那么您可以通过仅在代码正确时显示提交按钮来阻止提交。但是请注意，这可能会惹恼一些工人。
于 2014-10-24T14:51:06.253 回答
0
我强烈警告不要使用#2。拒绝会给你带来糟糕的 Turkopticon 评论，并可能导致你的学习失败。
我还强烈警告#3，因为某些 Turker 团体的成员将共享代码而不进行调查。
第一个选项绝对是您最好的选择，并且有大量的表单字段验证 javascript 代码片段可以完成工作。除此之外，在提交错误代码时提醒工作人员也是一个好主意，因为它使他们有机会从调查中再次获得它，或者再次参加调查。我喜欢 Thomas 的想法，即仅在代码正确时才显示提交按钮。只要它工作正常（它以正确的方式验证正确的代码），它就不应该惹恼任何没有作弊的工人。
于 2014-10-24T15:13:44.493 回答