16

Bingbot 每天会在我的网站上猛烈攻击几个小时，其余时间会非常轻松。

我要么想平滑它的爬行，降低它的速率限制，要么完全阻止它。它并没有真正通过任何真正的访客发送。

有没有办法可以平滑它的爬行，或者限制它的速率？

4

3 回答 3

23

他们的网站管理员博客说他们支持在您的 robots.txt 文件中添加 crawl-delay 参数来限制 bingbot。

User-agent: msnbot
Crawl-delay: 1

网站管理员常见问题解答 PDF中有更多解释

这些其他链接也可能有帮助： http:
//www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx

于 2011-02-12T20:49:41.817 回答
0

您可以通过像这样设置 IPTables 将爬虫的连接数限制为 fi 5（需要对防火墙的 root 访问权限）：

2bits.com 上的文章

IPTables的设置：iptables -I INPUT -p tcp -m connlimit --connlimit-above 5 -j REJECT

这将来自每个 IP 地址的连接限制为不超过 5 个同时连接。这种“口粮”连接，并防止爬虫同时访问该站点。

于 2011-04-27T07:01:04.620 回答
0

您可以使用 HTACCESS 禁止他的 IP。

order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all

您可以在此处找到更多相关信息：关于机器人阻止的博客

于 2011-02-08T01:14:59.307 回答