noindex 是 robots.txt 文件中的可选指令，还是 user-agent、disallow、allow 和 crawl-delay 是唯一的选项？
例如，这对 robots.txt 文件的内容有效吗？
user-agent: *
disallow: /
noindex: /
问问题
277 次
1 回答
1
noindex 不是 robots.txt 文件的有效指令。不过，它是 META 机器人标签的有效指令。
robots.txt 的唯一标准指令是“User-agent”和“Disallow”。一些浏览器支持一组扩展指令，包括“Crawl-delay”、“Allow”和“Sitemap”。http://rield.com/cheat-sheets/robots-exclusion-standard-protocol似乎对标准和扩展指令有详尽的解释。
于 2011-08-26T02:34:46.697 回答