2

我从 Mechanical Turk HIT 中获得了一堆结果,我想尝试根据 Worker 的可信度对我的所有答案进行排名。为此,我试图从 MTurk 获得每个提交工人的接受率。

我使用MTurk API QualificationRequirement类型“Worker_PercentAssignmentsApproved”执行此操作,其 type_id 为 000000000000000000L0。

为了获得工人的批准百分比评级,我调用GetQualificationScore,它返回给我这个非常愤怒的消息:

 <GetQualificationScoreResponse>
   <OperationRequest>
     <RequestId>e5a68cbf-f8a4-4fc6-8d47-8198a138fe12</RequestId>
   </OperationRequest>
   <Qualification>
     <Request>
       <IsValid>False</IsValid>
       <Errors>
         <Error>
           <Code>AWS.MechanicalTurk.QualificationTypeDoesNotExist</Code>
           <Message>
             QualificationType 000000000000000000L0 does not exist (1287717938474) 
           </Message>
         </Error>
       </Errors>
     </Request>
   </Qualification>
 </GetQualificationScoreResponse>

也许我有一些格式问题并且调用了错误的方法。

为了测试这一点,我调用了 GetQualificationType(它采用相同类型的参数类型:(QualificationTypeId,Qualification 类型的 ID,String))。

事情是这样的:效果很好。

所以,这是我的问题:亚马逊是否只是不允许访问有关为请求者完成 HIT 的工人的基本资格/统计数据?或者有没有办法获得我没有想到的这些数据?

请注意,我正在使用稍微修改过的 boto 版本来进行这些调用,但发现 boto 对于这些特定的东西来说是错误的/缺乏的。在这一点上,我正在 +/- 处理 XML 调用级别。

4

1 回答 1

2

对,你不能直接查询工人的系统资格。您可以根据系统资格创建具有资格要求的 HIT,仅此而已。

目前,收集有关 Worker 的特定数据的唯一方法是分析您自己的 HIT 和资格测试结果。您可以将自己的分析结果存储在您自己创建的 Quals 中并随着时间的推移对其进行更新,并将这些 Quals 作为 HITs.your HITs 的 Qual 要求的基础。

-DAN@AWS,亚马逊,早在 2006 年就回答了这个问题。

所以,看起来这不能直接完成。悲伤的脸。

于 2010-10-22T05:04:20.303 回答