1

有没有写一个robots.txt文件，禁止索引除指定目录以外的所有内容？

目前disallow是唯一有效的方式，这意味着我需要明确指定哪些目录我不排除在外 - 但是我宁愿不向全世界宣布这些目录......

有没有人解决过这个问题？

4

1 回答 1

1

真的没有什么好的解决办法。正如您所说，您可以禁止向世界宣布事物的一切。

  • 如果您不依赖于当前的 url 结构，您可以考虑创建一个“允许”目录，然后将您想要的内容符号链接到那里。然后你只需要禁止你的顶级目录。

  • 或者，您可以为机器人用户代理构建某种服务器端过滤器。允许您的主要访问者robots.txt，然后使用适当的响应代码过滤其访问服务器端，同时阻止所有其他访问者。这可能是比我的其他选项更糟糕的解决方案，但它保留了您的规范网址。

于 2010-11-09T21:24:50.933 回答