wildcard - 在 robots.txt 中使用通配符禁止长网址

Question

我有一种情况，我需要禁止在所有具有相同模式的特定页面上进行爬网，例如：

/folder1/folder2/folder3/review

哪里/folder1/folder2/folder3/是列表，添加/review将是我想要禁止爬行的内容。

添加此行robots.txt是否有效并在评论页面上而不是列表或其他任何内容上被阻止？

Disallow: /folder1/*/*/review

谢谢

Answer 1

双 * 是多余的。一个简单的

/folder1/*/评论

甚至

/*/审查

会做。

如果您试图声明“review” URL 之前必须有一个 3 个文件夹的长路径，那么我认为您不能这样做是 robots.txt。至少不使用通配符，因为 * 可以表示任何字符串和任意数量的文件夹。

尝试在 htaccess 中使用 RegEx。