.htaccess - 搜狗蜘蛛在屏蔽后仍然访问我们的网站

Question

我们的网站被“搜狗网络蜘蛛”点击率很高，所以我们想到了使用htaccess规则来阻止它。我们创建了以下规则 -

RewriteCond %{HTTP_USER_AGENT} Sogou [NC]
RewriteRule ^.*$ - [L]

然而，我们仍然受到搜狗的欢迎。我想知道我应该在这条规则中做哪些改变来阻止搜狗。

感谢您，

Answer 1

正如@faa 提到的，你实际上并没有阻止任何东西：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Sogou [NC]
RewriteRule ^.*$ map.txt [R=403]

确保您已打开 RewriteEngine 和 [R=403]。

您可能仍然会在访问日志中看到来自它们的命中，但是结合不发送任何数据和 403 禁止标头，您应该会看到命中最终消失。即使他们继续抓取您的网站，它也不应该再在您的服务器上产生如此多的额外负载。