robots.txt - robots.txt 中的通用规则

Question

我怎样才能禁止像1.html, 2.html, ..., [0-9]+.html（就正则表达式而言）这样的 URL robots.txt？

Answer 1

原始 robots.txt 规范不支持正则表达式/通配符。但是，您可以阻止以下 URL：

• example.com/1.html
• example.com/2367123.html
• example.com/3
• example.com/4/foo
• example.com/5/1
• example.com/6/
• example.com/7.txt
• example.com/883
• example.com/9to5
• …</li>

和：

User-agent: *
Disallow: /0
Disallow: /1
Disallow: /2
Disallow: /3
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9

如果您只想阻止以单个数字开头的 URL，后跟.html，只需附加.html，例如：

User-agent: *
Disallow: /0.html
Disallow: /1.html
…

但是，这不会阻止，例如，example.com/12.html