0

我正在使用用 python 编写的爬虫爬取 SNS

它工作了很长时间，但几天前，从我的服务器获取的网页是错误 403 FORBIDDEN。

我尝试更改cookie，更改浏览器，更改帐户，但都失败了。

并且似乎被禁止的服务器在同一网段中。

我能做些什么？盗用别人的ip？= =...

多谢

4

1 回答 1

1

看起来您已在该子网的路由器级别被列入黑名单，可能是因为您（或子网中的其他人）违反了使用条款、robots.txt、站点地图中指定的最大抓取频率或类似那。

解决方案不是技术性的，而是社会性的：联系网站管理员，适当道歉，了解您（或您的一位同事）到底做错了什么，令人信服地承诺不再犯错，再次道歉，直到他们删除黑名单。如果你能给那个网站管理员任何他们应该让你抓取那个网站的理由（例如，你的抓取提供了一个可以为他们带来流量的搜索引擎，或者类似的东西），那就更好了！-)

于 2010-09-06T02:41:52.417 回答