0

阻止 * 并且只允许主要搜索引擎仅索引站点的索引页面的最短方法是什么?

User-agent:  *
Disallow: /

User-agent: Googlebot
Disallow: /
Allow: index.html

User-agent: Slurp
Disallow: /
Allow: index.html

User-agent: msn
Disallow: /
Allow: index.html

这行得通吗?

4

1 回答 1

0

是的,这将是最短的方法。这不一定是正确的。

并非所有机器人都支持该Allow指令。User-agent: *当有一个部分和一个部分都适用时,一些机器人对如何解释 robots.txt 感到困惑User-agent: Specific-bot

为了确保它会起作用,您需要执行以下操作:

用户代理:Googlebot
禁止:/file1
禁止:/file2
禁止:/file3
# 等等,直到你阻止除了 index.html 之外的所有路径

用户代理:Slurp
禁止:/file1
禁止:/file2
禁止:/file3
# 等等,直到你阻止除了 index.html 之外的所有路径

用户代理:msn
禁止:/file1
禁止:/file2
禁止:/file3
# 等等,直到你阻止除了 index.html 之外的所有路径

用户代理: *
不允许: /

如果您不想做所有这些工作,那么最好的办法是测试您感兴趣的每个引擎,看看它们是否会接受您建议的 robots.txt 文件。如果他们不这样做,请尝试更长的版本。

于 2010-02-02T16:13:41.173 回答