1

我们在我们的网站上实施了新的访问次数功能，当访问我们网站上的公司资料时，它会在我们的视图数据库中保存一行。这是使用每次加载页面（公司简介）时运行的服务器端“/addVisit”函数完成的。不幸的是，这意味着我们昨晚有超过 400 次来自 Googlebot 的访问。

由于我们确实希望 Google 将这些网页编入索引，因此我们无法使用 robots.txt 在这些网页上排除 Googlebot。

我还读到使用 jQuery $.get() 运行此函数不会停止 Googlebot。

唯一可行的解​​决方案是排除已知的机器人 IP 还是有选项？

或者可能使用带有 robots.txt exclude /addVisit 的 jQuery $.get(/addVisit) 会阻止 googlebot 和其他机器人运行此功能？

4

2 回答 2

1

robots.txt在你网站的根目录下创建一个文件，并添加：

User-agent: Google
Disallow: /addVisit

您也可以使用*instead of Google，这样/addvisit它就不会被任何引擎索引。搜索引擎开始总是在寻找/robots.txt。如果此文件存在，它们会解析内容并遵守应用的限制。

有关详细信息，请参阅http://www.robotstxt.org/robotstxt.html。

于 2011-09-27T08:30:10.450 回答
1

如果您通过服务器端 HTTP 请求处理计数，则可以过滤任何包含“Googlebot”一词的用户代理。快速的 Google 搜索显示了几个 Googlebot 用户代理示例：

Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
于 2011-09-27T08:30:30.407 回答