seo - 如何使用 robots.txt 阻止机器人抓取分页？

Question

我的网站上有各种分页，我想阻止谷歌和其他搜索引擎抓取我的分页索引。

抓取页面示例：

http://www.mydomain.com/explore/recently-updated/index/12

我怎样才能使用 robots.txt 拒绝机器人抓取包含 /index/ 的任何页面？

Answer 1

Disallow: /*?page=
Disallow: /*&page=

Answer 2

我相信如果您使用以下内容在您的根 Web 目录中创建您的 robots.txt 文件：

User-agent: *
Disallow: /explore/recently-updated/index/

试一试，然后使用某人（可能是谷歌的）机器人检查器来确保它被停止。