0

我已经看到网站隐藏了 robots.txt 文件。

如果您将站点名称输入为 http://www.mysite.com/robot.txt ，您将不会收到 robots.txt，

我也想对访问者隐藏文件robot.txt怎么办？

这些线路有联系吗

<meta name="ROBOTS" content="NOODP">
         <meta name="Slurp" content="NOYDIR">

所以我不明白代码的含义。谢谢！

4

1 回答 1

1

我不确定你到底在问什么，但你不能用 URL 重写来做到这一点吗？您可以使用爬虫的用户代理字符串（例如“Googlebot”）为访问者显示 robots.txt 文件，然后如果它是非爬虫 UA，则重定向到 404

于 2012-10-20T21:11:18.913 回答