python - 从 Mechanical Turk 下载图像

Question

我在 Mechanical Turk 中有一堆网址，可以从中下载上传的图片。我编写了一个 Python 脚本来下载所有文件。但是，我必须先登录到 Mechanical Turk 才能访问这些文件。是否有从 Mechanical Turk 下载大量文件的 API 或最佳实践？

Answer 1

Boto http://boto.cloudhackers.com/是 Amazon Web Services 的 Python 包装器，包括 Mechanical Turk；请参阅http://boto.cloudhackers.com/ref/mturk.html上的 Mechanical Turk API 参考

或者，您可以使用 urllib2、mechanize 或 Scrapy 直接抓取它们。这三个都将支持基本身份验证或基于 cookie 的表单身份验证。