python - 如何在抓取数据时防止 IP 阻塞

Question

我试图从网站上抓取数据。

该代码正在运行，但是当我尝试抓取所有滚动页面时，该站点阻止了我的 IP 地址。如果对如何解决此问题有任何建议，请告诉我。谢谢

Answer 1

你可以使用代理。

IP 地址可以非常便宜地购买，然后您可以遍历 IP 地址列表，同时更改您的浏览器和其他用户代理参数。