0

本月 28 日，我们其中一个网站的带宽被严重破坏。cpanel 只跟踪每日访问日志并且没有归档它们（现在是这样），使用 aw stats 我发现我们的机器人流量如下：

未知机器人（由“bot*”标识）91541+417 4.78 GB 2010 年 7 月 28 日 - 07:12

我已经使用 htaccess 阻止了 bot*：

RewriteCond %{HTTP_USER_AGENT} ^bot* [NC]
RewriteRule .* - [F,L]

我被告知这会干扰交通，我该怎么办？我应该等待它再次发生然后检查日志中的 IP/代理名称还是继续阻止未知机器人？

我对我拥有的 googlebot 条目进行了 dns 查找，他们签出了。

4

1 回答 1

2

您应该使用机器人排除令。它可能不是垃圾邮件机器人，如果您在 robots.txt 中放置一个条目并且它仍然出现在您的站点上，那么您就会知道它是否存在。

顺便说一句，googlebot 是 google 的索引器。它将遵守 robots.txt（机器人排除顺序）。它还提供了网站管理员工具，允许您配置 google 与您的网站的交互方式。

您可以为错误的机器人设置陷阱。在您的主页上创建一个不可见的链接（通过 css）。配置您的 robots.txt 以指示所有机器人忽略该链接并记录这样做的机器人。

如果您有防火墙或其他一些基础设施，请将这些 IP 地址排除在将来使用您的站点之外。

于 2010-07-30T11:24:50.260 回答