Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
有没有写一个robots.txt文件,禁止索引除指定目录以外的所有内容?
目前disallow是唯一有效的方式,这意味着我需要明确指定哪些目录我不排除在外 - 但是我宁愿不向全世界宣布这些目录......
有没有人解决过这个问题?
真的没有什么好的解决办法。正如您所说,您可以禁止向世界宣布事物的一切。
如果您不依赖于当前的 url 结构,您可以考虑创建一个“允许”目录,然后将您想要的内容符号链接到那里。然后你只需要禁止你的顶级目录。
或者,您可以为机器人用户代理构建某种服务器端过滤器。允许您的主要访问者robots.txt,然后使用适当的响应代码过滤其访问服务器端,同时阻止所有其他访问者。这可能是比我的其他选项更糟糕的解决方案,但它保留了您的规范网址。
robots.txt