我们正在使用网络抓取工具，并将其设置为具有随机功能设置的睡眠功能（因此每次抓取之间的时间不同）但在 20-30 次请求后我们仍然被雅虎阻止.
有谁知道是否有限制（即：每分钟 20 个请求，每小时 200 个） 现在我们每个请求之间的平均时间约为 3-6 秒。谢谢你的帮助
问问题
743 次
2 回答
0
每 3-6 秒 1 个请求非常低，因此您的爬虫可能还有另一个问题。
一些想法：
- 将 User-Agent 设置为非可疑的东西
- 将Referer头设置为同一个域
- 尝试从其他 IP 运行爬虫，以防您当前的 IP 被列入黑名单
- 尝试维护 cookie
如果您使用像Mechanize这样的更高级别的库，这一切都会变得更容易。
于 2010-04-21T06:10:02.063 回答
0
所以答案是 5000 个查询。取自
http://forums.digitalpoint.com/showthread.php?t=736784
http:// 开发者。雅虎。com/search/rate.html
于 2010-04-21T23:50:52.880 回答