0

我正在使用 asp.net DataPager 并注意到搜索引擎无法抓取创建的链接,所以我添加了一个查询字符串参数,现在看到它可以抓取链接。

我现在遇到的问题是,它现在最终会以同一页面的多个 url 结束。

是否可以使用查询字符串参数停止搜索引擎索引所有页面,例如:

?pg=

所以搜索引擎会跟随这些链接而不是索引:

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6

但会索引:

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation

谢谢你的帮助

J。

4

1 回答 1

2

我很确定您可以通过 robots.txt 实现这一目标

使用 google,您可以使用网站管理员工具指定要排除的参数。

您还可以捕获用户代理并在它是机器人时简单地使页面崩溃......

于 2011-07-14T12:28:33.670 回答