robots.txt - 我可以使用 robots.txt 阻止某些 URL 参数吗？

Question

在您告诉我“您尝试过什么”和“自己测试”之前，我想指出robots.txt更新速度非常慢我的网站搜索引擎上的任何网站，因此，如果您能提供理论经验，将不胜感激。

例如，是否可以允许：

http://www.example.com

并阻止：

http://www.example.com/?foo=foo

我不太确定。

帮助？

Answer 1

根据Wikipedia，“robots.txt 模式通过简单的子字符串比较匹配”，并且由于 GET 字符串是一个 URL，您应该能够添加：

Disallow: /?foo=foo

或者更花哨的东西

Disallow: /*?* 

禁用所有获取字符串。星号是通配符，因此它匹配任何内容的一个或多个字符。

带有动态网址的 robots.txt 示例。