2

我有一堆 ajaxified 链接，这些链接可以做一些事情，比如投票、投票、标记帖子——标准社区审核的东西。

问题是 googlebot 会抓取这些链接，然后投票赞成、反对并标记项目。

将此添加到 robots.txt 会阻止 googlebot 抓取这些链接吗？或者还有什么我需要做的吗？

User-agent: Googlebot 
Disallow: /item/*/flag/
Disallow: /item/*/vote/

谢谢！

编辑：更改了发布方法，googlebot 仍在标记帖子。

语法是：

<a href="onclick="$.ajax({data:'authenticity_token=' + encodeURIComponent('blahblahblah'), dataType:'script', type:'post', url:'/item/flag/236?method=post'}); return false;">

有什么想法吗？

4

2 回答 2

4

您应该将这些链接更改为 POST 而不是 GET，这样您就不必担心爬虫了。这样做还有其他原因：网络缓存可能决定缓存 GET，因此当用户单击链接时实际上并没有访问您的服务器。他们不会缓存 POST。

于 2009-09-18T18:14:53.213 回答
0

除了因为它们具有变革性而发出 POST 请求外，来宾用户（未登录的人）不应有权在社区审核中投票。因此，只需将他们排除在投票之外，就可以解决您的机器人问题。

于 2013-01-02T22:29:55.123 回答