问题标签 [mechanicalturk]

我有一些解决这个问题的想法，但我希望大师们能想出更好的东西。我向 Mechanical Turk 提​​交了一堆行输入。我需要表格中的一行，并且我有一个字段，我要求他们在其中键入以逗号分隔的行的值。然后在 RI 中进行了 strsplit，我现在正在比较多个 Turkers 条目的结果。

一个常见的模式是一个 Turker 将错过一个条目，将其余条目丢掉一个。因此，挑战在于知道将缺失值放在哪里。假设他们只会错过输入一个条目（我有错误检查代码来确认这一点），并且我可能从每个表行中获得了多达 3 个重复（因此可能有 1-2 个适当长度，并且1-2 太短了。条目大约是下面的大小，我只有大约 50 个，所以计算效率不是最重要的。假设最长的条目是适当的长度。

这是一个这样的行的示例（存储为列表，每个元素都是不同 Turker 的复制）：

我考虑过的算法是：

• max(lengths)在每个可能的地方用 NA创建排列，并使用对总偏差的一些估计将它们同时与适当长度的 1-2 个进行比较。
• 循环遍历每个元素并与适当长度的 1-2 个元素进行比较，直到找到不完全匹配的元素。然后决定与 NA 的所有后续差异相比差异有多大。例如，如果它们匹配到第 5 个条目，但将 NA 放在第 5 个条目中仍然使其余部分的差异超过第 5 个条目的差异，则继续向下移动向量。

好奇每个人将如何实现这一点。我很难避免循环并以优雅的方式编写它。可能类似的东西filter可能会有所帮助。

有问题的输入和期望输出的示例

有问题的输入（缺少一个值；其他值没有拼写错误）

期望的输出

有问题的输入（缺失值 + 另一个值的错字）

期望的输出

应该优雅地容忍其他类型的拼写错误。请注意，向量通常会增加（您可以将它们视为随着噪声单调增加）。因此，如果有人将 7 误认为 4，那可能是一个错字。另请注意，对于大多数情况，我只进行了 2 次重复，因此没有任何方法可以让一个非缺失值比任何其他非缺失值更可信。将不得不查看整个模式，或者至少利用它们普遍增加的事实。

完整的数据框

上面的每个 tt 示例都是下面 data.frame 中给定英尺图像级别的所有 TotalTime 条目。这是整个数据集。请注意，组之间的条目总数可能会发生变化image。这个值是预先知道的，或者你可以从条目的最大值中得到它。

我想使用我自己的 R 代码将 Mechanical Turk（或 Survey Monkey，或类似的基于网络的仪器）上的调查对象随机分配到特定条件。例如，受访者可能会回答五个背景问题，然后随机回答一个问题。我想使用背景数据，在其上运行我的 R 代码，然后立即将问题返回给受访者。（要清楚，我有一种特殊的方式我想在 R 中进行随机化，这与完全随机化或随机分配不同，例如，60% 分配给一个条件，40% 分配给另一个条件。）

关于如何将 R 代码集成到这样的基于 Web 的调查中的任何建议？

我正在尝试使用 Amazon Mechanical Turk API 构建一个 jar 文件。SDK 附带一个 helloworld 文件，我试图将其作为健全性检查 - 它位于此处：

http://aws.amazon.com/code/SDKs/695

设置完所有内容后，我可以使用提供的 build.xml 文件使用 ant 正确构建和执行。

我希望 helloworld 可由其他人执行，而无需安装库。似乎“正确”的方法是从蚂蚁内部构造一个罐子。

我的理解是我需要包括：

• 必要的库，从 sdk 本身构建（并作为 .jar 提供）
• 构建的 helloworld 类文件
• manifest 属性指定要运行的主类

我不知道我是否需要包含其他内容。我知道在运行时有一个大而复杂的类路径，并且我可以在命令行上指定类路径，但我怀疑对类路径进行硬编码会阻止我分发 .jar 文件，这就是重点。

这是 jar 的 build.xml 片段：

这建立了。但是，当我运行 jar 时，它会崩溃：

这是有道理的，因为我的 MTurkHelloWorld 实际上是在 helloworld 包中。因此，我应该改为：

这构建成功。当我运行它时：

我们可以调查 jar 中的文件：

这表明如果将类路径设置为 build/private/classes/samples/ 它可能会正常工作：

这会导致相同的错误。我认为这里缺少一些非常基本的东西，我将不胜感激！

AMT 中是否有任何策略或流程可以阻止 ExternalQuestion 请求工作人员下载应用程序以执行其任务？即桌面应用程序而不是Web 应用程序？据我所知，可以从 API 处理分配等。

我在 Mechanical Turk 上发布了两项调查，但我没有要求我的员工提供任何联系信息。这甚至是不允许的：反正现在已经太晚了。

现在我想向所有完成我任务的人发送电子邮件或其他类型的消息

在此页面上：http ://www.itworld.com/internet/76659/experimenting-mechanical-turk-5-how-tos它说您可以通过单击已完成任务列表中的工作人员 ID 来发送电子邮件。但是当我查看我的 MTurk 帐户时，情况并非如此。

在“管理”>“工人”下，我可以单击工人 ID，然后我会获得有关该工人的一些详细信息，以及奖励他们或阻止他们的选项。但不要向他们发送任何消息。

这个功能是不是去掉了？我需要学习使用糟糕的命令行工具吗？

我已经浏览了亚马逊机械土耳其人的文档。我发现有创建/监控和过期 HIT 的选项。所有 API 都是请求者 API。是否有任何工作 API 可用于选择任务或指示任务完成？

我正在查看 Mechanical Turk 的 .NET API，我想创建一个简单的审核应用程序，让人们接受或拒绝任何待审核的作业。看起来我可以client.GetAllHITs()使用client.GetAllAssignmentsForHIT(hitid).

这是否意味着我必须为每个 HIT 单独调用？有没有办法进行一次批量调用以获取所有分配？

我什至会问这个问题，我很惊讶，但我试图提交一个关于外部问题的 HIT，我只是收到这个错误：“提交这个 HIT 的结果时出现问题。”

有趣的是表单几乎完全是从这里的 php 代码中复制过来的。

我错过了一些非常明显的东西吗？

即使是指向文档的指针也会很好，我在任何地方都找不到 externalSubmit 的官方文档。

我正在 Rails 中构建一个非常简单的 MTurk 风格的应用程序。这个想法是人们将上传包含他们想要的任何列的 csvs（例如，一些 id、用户名、一些文本、链接等等——这些列会随着任务的变化而变化），这些 csvs 将包含MTurk 任务的所有信息。

我的问题是：如何将这些 csv 存储在数据库中？一种方法是将每个 csv 行存储为 MySQL 中的非结构化数据块（即，我基本上将每一行保留为字符串并将其粘贴到 MySQL 列中）。一个可能更好的方法是使用像 MongoDB 这样的 NoSQL 数据库，我不需要预定义的模式。

建议？哪种方式更好，或者还有其他选择吗？我为此使用 Rails，因此与 Rails 配合使用的选项会很棒。

我有一个网站，人们可以在其中进行简单的认知心理学实验。目前，人们自愿参加。为了增加响应的数量，我想以类似于 Mechanical Turk* 的方式提供小额支付。我的问题是，用于支付这些款项的最佳系统是什么？我想paypal和flattr都是选项。有没有人有建立像这样的小额支付系统的经验能够提供建议？干杯，马克

*我没有考虑使用机械土耳其人本身，只是因为我认为我无法完全控制我需要的基于网络的研究。