我想禁止/questions/{ID}/foo
但不是/questions/{ID}
。
是语法Disallow: /questions/*/foo
吗?
开始寻找正确语法的好地方应该在这里:
另请注意,在 User-agent 或 Disallow 行中不支持通配符和正则表达式。User-agent 字段中的“*”是一个特殊值,意思是“任何机器人”。具体来说,您不能有
"User-agent: *bot*"
,"Disallow: /tmp/*"
或之类的行"Disallow: *.gif"
。