robots.txt - 如何通过 robots.txt 排除特定文件夹

Question

我想从搜索引擎的索引中排除任何文件夹中名为“ajax”的所有子文件夹。

例子：

.com/a/ajax
.com/b/ajax
.com/c/ajax

这可以通过 robots.txt 实现吗？

Answer 1

仅当您明确列出每个文件夹时才有可能。没有通配符支持来完成您想要的事情类型。robots.txt 排除标准在这方面有点欠缺。