seo - 仅允许对 index.html 进行 SE 索引

Question

阻止 * 并且只允许主要搜索引擎仅索引站点的索引页面的最短方法是什么？

User-agent:  *
Disallow: /

User-agent: Googlebot
Disallow: /
Allow: index.html

User-agent: Slurp
Disallow: /
Allow: index.html

User-agent: msn
Disallow: /
Allow: index.html

这行得通吗？

Answer 1

是的，这将是最短的方法。这不一定是正确的。

并非所有机器人都支持该Allow指令。User-agent: *当有一个部分和一个部分都适用时，一些机器人对如何解释 robots.txt 感到困惑User-agent: Specific-bot。

为了确保它会起作用，您需要执行以下操作：

用户代理：Googlebot
禁止：/file1
禁止：/file2
禁止：/file3
# 等等，直到你阻止除了 index.html 之外的所有路径

用户代理：Slurp
禁止：/file1
禁止：/file2
禁止：/file3
# 等等，直到你阻止除了 index.html 之外的所有路径

用户代理：msn
禁止：/file1
禁止：/file2
禁止：/file3
# 等等，直到你阻止除了 index.html 之外的所有路径

用户代理： *
不允许： /

如果您不想做所有这些工作，那么最好的办法是测试您感兴趣的每个引擎，看看它们是否会接受您建议的 robots.txt 文件。如果他们不这样做，请尝试更长的版本。