seo - 防止谷歌索引我的分页系统

Question

我想知道是否有一种方法可以在我的 robots.txt 中包含一条阻止 Google 索引我网站中包含特定文本的任何 URL 的行。

我有不同的部分，所有部分都包含不同的页面。我不希望谷歌索引 page2、page3 等，只是主页。

我的网址结构如下：

http://www.domain.com/section
http://www.domain.com/section/page/2
http://www.domain.com/section/article_name

有没有办法在我的 robots.txt 文件中放入不索引任何包含以下内容的 URL：

/page/

提前谢谢大家！

score 2 · Accepted Answer

User-agent: Googlebot  
Disallow: http://www.domain.com/section/*

或根据您的要求：

User-agent: Googlebot 
Disallow: http://www.domain.com/section/page/*

您也可以使用Google 网站管理员工具而不是 robots.txt 文件

score 1 · Accepted Answer

1

于 2014-06-27T15:43:30.060 回答

score 0 · Accepted Answer

0

可以直接使用 Disallow: /page

于 2012-06-29T11:15:36.497 回答

3 回答 3