假设我们使用漂亮的 URLmod_rewrite
或类似的东西,并且有以下两条路线:
/page
/page-two
现在我们只想禁止/page
机器人抓取第一条路线 ( )。
# robots.txt
User-agent: *
Disallow: /page
禁止(http://www.robotstxt.org/orig.html):
... 例如,Disallow: /help 禁止 /help.html 和 /help/index.html,而 Disallow: /help/ 将禁止 /help/index.html 但允许 /help.html。
所以上面的robots.txt
例子也是不允许的/page-two
,对吗?
完成这项工作的正确方法是什么?
可能是下面的代码?
# robots.txt
User-agent: *
Disallow: /page/