使用robot.txt 是否可以限制机器人访问(特定)查询字符串(参数)值?
IE
http://www.url.com/default.aspx #allow
http://www.url.com/default.aspx?id=6 #allow
http://www.url.com/default.aspx?id=7 #disallow
使用robot.txt 是否可以限制机器人访问(特定)查询字符串(参数)值?
IE
http://www.url.com/default.aspx #allow
http://www.url.com/default.aspx?id=6 #allow
http://www.url.com/default.aspx?id=7 #disallow