0

所以我有一个 url，chickens.com/hatching它有可能被索引的查询字符串，即chickens.com/hatching?type=fast. 我肯定想保留基本 url，chickens.com/hatching索引，但没有查询参数。我想要在其他页面上索引的查询参数，而不是这个，所以所有页面的包罗万象将不起作用。其次，我正在重写 url 以删除尾部斜杠，这会chickens.com/hatching/?type=fast和chickens.com/hatching?type=fast??

这可以解决我的问题吗？

Disallow: /hatching?*

我听说这仅适用于谷歌爬虫......是否有适用于所有爬虫的更强大的解决方案？

谢谢你的帮助！非常感谢。

4

1 回答 1

3 
User-agent: *
Disallow: /hatching?
Disallow: /hatching/

这个 robots.txt 将阻止路径以/hatching?or开头的所有 URL /hatching/，例如：

  • /hatching?
  • /hatching?foo=bar
  • /hatching/
  • /hatching/foo
  • /hatching/?foo=bar

它仅使用原始 robots.txt 规范中的功能，因此所有符合标准的机器人都应该能够理解这一点。

于 2016-03-12T14:59:34.987 回答