django - 我的 ALLOWED_HOSTS 设置会阻止 googlebot 吗？

Question

如果我的 ALLOWED_HOSTS 设置为 .mywebsite.com，这会阻止谷歌抓取我的网站吗？机器人不是有很多 googlebot 吗？对不起，我对这件事有点无知..

Answer 1

您应该使用网络服务器上的 robots.txt 文件来阻止机器人访问网站。http://www.robotstxt.org/robotstxt.html

Google bot 不使用“googlebot”主机，而是使用用户代理。如果机器人使用“googlebot”作为主机，那么如果网络服务器配置了多个具有不同主机的网站，它将无法访问您的网站。