我的 robots.txt 文件的内容实际上本身已编入索引并显示在 Google 搜索结果中。例如，只有谷歌而不是雅虎。
我真的认为谷歌应该明白不要索引我的机器人文件的内容，因为它只是告诉谷歌不要索引什么！
我在这里错过了什么吗？
问问题
3040 次
4 回答
2
这很正常。几个月前我的也被索引了。我认为这是爬虫的问题。编辑：顺便说一句，您可以删除网站管理员工具网站上的链接。
于 2011-11-08T10:17:11.497 回答
1
我不建议禁止 robots.txt 文件本身。相反，您可以使用值为 noindex的X-Robots-Tag http 标头，这将阻止搜索引擎对文件编制索引。
这将允许他们访问您的 robots.txt，但会阻止它出现在搜索结果中。
于 2011-12-05T08:36:10.820 回答
0
您可以添加Disallow: /robots.txt到您的 robots.txt。我认为它应该避免 robots.txt 本身被索引。
于 2011-11-08T10:19:46.113 回答
0
我认为禁止您自己的 robots.txt 文件（如果可能）将导致那里写入的所有其他命令也被机器人忽略。
于 2011-11-28T10:47:42.893 回答