0

我总是通过scrapy获得状态429，但是在使用浏览器获取相同的url时获得状态200。这是域禁止抓取其网站的预防措施还是我的设置？

据我所知，状态 429 请求太多。我尝试将并发请求设置为 1，但它仍然无法正常工作。

希望有人可以给我一些反馈。

谢谢大家

4

1 回答 1

0

你能分享你试图抓取的域吗？这将帮助我调试您的问题。

谢谢

于 2020-04-29T17:06:24.013 回答