我在根目录中有一个包含以下 robots.txt 的站点：
User-agent: *
Disabled: /
User-agent: Googlebot
Disabled: /
User-agent: Googlebot-Image
Disallow: /
Googlebots 全天都在扫描此站点中的页面。我的文件或 Google 有问题吗？
Tim Scott
问问题
1081 次
4 回答
22
应该是Disallow:，不是Disabled:。
于 2008-12-05T18:11:43.730 回答
8
于 2008-12-05T18:12:37.287 回答
2
Google 有一个用于检查 robots.txt 条目的分析工具，请在此处阅读
您可能还想检查“流氓”机器人的 IP 地址，看看它们是否真的归 Google 所有。
于 2008-12-05T18:11:52.077 回答
0
此外，我相信机器人会进入页面并采用适用于它的第一个指令。在您的情况下，Googlebot 和 Googlebot-Image 永远不会看到他们的具体指令，因为他们会首先尊重“用户代理：*”。
无视这个答案。我发现信息表明情况并非如此。机器人应该找到特定于它的指令并尊重它
于 2009-01-20T23:26:52.960 回答