如果我的 ALLOWED_HOSTS 设置为 .mywebsite.com,这会阻止谷歌抓取我的网站吗?机器人不是有很多 googlebot 吗?对不起,我对这件事有点无知..
问问题
274 次
1 回答
1
您应该使用网络服务器上的 robots.txt 文件来阻止机器人访问网站。http://www.robotstxt.org/robotstxt.html
Google bot 不使用“googlebot”主机,而是使用用户代理。如果机器人使用“googlebot”作为主机,那么如果网络服务器配置了多个具有不同主机的网站,它将无法访问您的网站。
于 2013-04-24T01:25:31.017 回答