linux - 没有机器人 robots.txt 位置

Question

与 robots.txt 有点混淆。

假设我想在基于 Linux 的 Apache 服务器上的某个站点上阻止机器人：

var/www/mySite

我会将 robots.txt 放在包含以下内容的目录中（与 index.php 一起）：

User-agent: *
Disallow: /

正确的？

这是否会阻止机器人索引整个服务器或只是 var/www/mySite 中的站点？例如，var/www/myOtherSite 中的站点是否也会阻止机器人？因为我只想为一个站点做这件事。

谢谢！

Answer 1

机器人（表现良好的机器人，即——尊重robots.txt完全是自愿的）将使用在robots.txt您域的根目录中找到的。如果mySiteis serving offmysite.com和myOtherSiteis serving off myothersite.com，那么你robots.txt只会被送达mysite.com并且这会按预期工作。

要进行测试，只需前往http://myothersite.com/robots.txt并验证您是否获得了 404。