robots.txt - 禁用 googlebot 获取 www

Question

我在 .htaccess 中有 www 重定向。所以www.example.com得到 301 重定向example.com 但谷歌仍然尝试获取www.example.com。

我可以禁用 googlebot 抓取www.example.com吗？例如来自 webaster 工具或 robots.txt？

Answer 1

在 Google 网站管理员工具中，您可以设置您的首选主机名 - 带或不带 www，但 Google 对此不提供任何保证。由于您有从 www 到非 www 的 301，Googlebot 可能会尊重您的意愿。