seo - 限制机器人访问（特定）查询字符串（参数）值？

Question

使用robot.txt 是否可以限制机器人访问（特定）查询字符串（参数）值？

IE

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

Answer 1

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定不允许的 url。默认情况下允许其他所有内容。

Answer 2

可以只定义查询变量，例如

不允许：/default.aspx?id=*

或者更好

不允许：/ ?id=