c# - Web Scraping 和 http 请求太多的答案

Question

在进行网络抓取项目时，要提取我需要的所有信息，我需要发出很多请求，但是服务器在大约 50 个请求后会回答 429 状态代码，指示错误“请求过多”，如何处理？

score 0 · Accepted Answer

0

也许您应该尝试使用 HideMyIP，例如，每 5 或 10 分钟更改一次 IP

于 2013-07-10T06:59:39.140 回答

score 0 · Accepted Answer

我的猜测是你要么需要减慢请求的频率，要么匿名。如果您决定采用匿名化路线，我们的网站上有几篇文章将解释您的选择：

2 回答 2