不久前,我们在一个站点上实施了一个评级系统,其中涉及到脚本的链接。然而,由于网站上的绝大多数评级为 3/5,而且评级在 1-5 之间非常均匀,我们开始怀疑搜索引擎爬虫等正在通过。使用的网址如下所示:
http://www.thesite.com/path/to/the/page/rate?uid=abcdefghijk&value=3
开始时,我们将以下内容添加到 robots.txt 中:
User-agent: *
Disallow: /rate
这是不正确的还是 googlebot 和其他人只是忽略了我们的 robots.txt?