regex - 机器人的通用 IP 重定向

Question

我帮助管理数百个网站，我们经常收到所有者的请求，以防止搜索引擎索引他们网站的 IP 地址。然后我们修改他们的重定向文件以包含以下内容（当然，自定义为他们自己的 IP 地址和域名），提供不允许文件，使其不会被索引：

RewriteCond %{HTTP_HOST} ^127\.0\.0\.1$ [NC] 
RewriteRule robots.txt robots_disallow.txt [I,O,L]

这工作正常，但必须为每个 ip 配置，因为它是硬编码的。如何编写一个通用的重写条件以在输入的任何ip 地址上运行？我读过你可以进行正则表达式验证，但我还没有看到很多在线文档告诉如何对多个未知数字进行验证。

有人有什么建议吗？

谢谢！

score 0 · Accepted Answer

您最好使用 301 重定向到站点的实际域名。这可以让蜘蛛了解它们正在抓取的资源的正确位置。所以我通常会在重写规则开始时做这样的事情：

RewriteCond %{HTTP_HOST} !^www\.yourdomain\.com$
RewriteRule ^(.*)$ http://www.yourdomain.com/$1 [R=301,L]

这还具有对所有网络流量有用的好处，而不仅仅是蜘蛛。此外，它还将负责将流量引导到您的域.com 到 www.yourdomain.com

1 回答 1