阻止 * 并且只允许主要搜索引擎仅索引站点的索引页面的最短方法是什么?
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /
Allow: index.html
User-agent: Slurp
Disallow: /
Allow: index.html
User-agent: msn
Disallow: /
Allow: index.html
这行得通吗?
阻止 * 并且只允许主要搜索引擎仅索引站点的索引页面的最短方法是什么?
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /
Allow: index.html
User-agent: Slurp
Disallow: /
Allow: index.html
User-agent: msn
Disallow: /
Allow: index.html
这行得通吗?
是的,这将是最短的方法。这不一定是正确的。
并非所有机器人都支持该Allow
指令。User-agent: *
当有一个部分和一个部分都适用时,一些机器人对如何解释 robots.txt 感到困惑User-agent: Specific-bot
。
为了确保它会起作用,您需要执行以下操作:
用户代理:Googlebot 禁止:/file1 禁止:/file2 禁止:/file3 # 等等,直到你阻止除了 index.html 之外的所有路径 用户代理:Slurp 禁止:/file1 禁止:/file2 禁止:/file3 # 等等,直到你阻止除了 index.html 之外的所有路径 用户代理:msn 禁止:/file1 禁止:/file2 禁止:/file3 # 等等,直到你阻止除了 index.html 之外的所有路径 用户代理: * 不允许: /
如果您不想做所有这些工作,那么最好的办法是测试您感兴趣的每个引擎,看看它们是否会接受您建议的 robots.txt 文件。如果他们不这样做,请尝试更长的版本。