-1

我开发了一个 Python（请求）和 Java 代码来从网站上抓取数据。它将通过不断刷新网站以获取新数据来工作。
但是该网站最近将我的爬虫识别为自动化服务，并且我的帐户已被锁定。有什么方法可以隐藏此刷新以在没有帐户锁定的情况下获取新数据？

4

1 回答 1

0

这取决于它是哪个网站，无论如何，爬虫模拟用户行为，仍然会被阻止。
如果网站检测到定时任务，解决方案可能是随机化应用程序的刷新时间。
如果网站会显示验证码，你没有简单
的解决方案如果网站只是统计来自特定IP地址的访问，你可以设置一个动态代理服务器来模拟来自其他IP的请求

于 2018-06-14T19:38:48.663 回答