robots.txt - 如何在 robots.txt 中使用通配符

Question

是否有可能：

User-agent: *
Disallow: /apps/abc*/

在 robots.txt 文件中禁止 abc123、abc-xyz 等？

Answer 1

引用维基百科：

机器人排除标准没有提及 Disallow: 语句中有关“*”字符的任何内容。一些爬虫，如 Googlebot 和 Slurp 识别包含“*”的字符串，而 MSNbot 和 Teoma 以不同的方式解释它。

其他研究可以在引用的来源中找到。