我的评分系统允许匿名用户添加评分，但 Google 的爬虫正在评分。
如何确保 Googlebot 不会跟踪该链接？
问问题
343 次
2 回答
9
您不应接受任何修改数据的操作（投票、编辑帖子等）的 GET 请求。您的投票应通过 POST 请求完成，Googlebot 不会执行该请求。
此 SO 帖子中的更多信息：您何时使用 POST 以及何时使用 GET？
于 2010-10-20T13:48:41.213 回答
4
使用 robots.txt 指出机器人不应遵循的链接。例如，将以下内容放入http://example.com/robots.txt
User-Agent: *
Disallow: /vote.php
您可以在此处阅读有关 robots.txt 的更多信息： http ://www.robotstxt.org/
Google 和其他所有表现良好的机器人都会阅读并遵循 robots.txt 中的指示。
如果您也遇到机器人不遵循这些指示的问题，您将不得不编写一些逻辑来阻止机器人，或者至少减少它们的影响。例如，您可以记录在某个时间范围内您从某个 IP 地址获得的投票数，并阻止高于该级别的投票。另一种解决方案是只允许发帖，并且有一些 JS 逻辑（或类似的）来阻止垃圾邮件机器人，但这比 robots.txt 的工作要多得多，所以只有在它成为问题时才投入时间。
您还可以通过在您的 Web 服务器中阻止它们的 IP 来完全阻止行为不良的机器人。如果您更喜欢阻止解决方案，可以尝试一些行为不良的机器人列表。
于 2010-10-20T13:47:32.753 回答