我正在建立一个网站，允许卖家：
- 在我的网站上列出他们的产品
- 让每个产品链接回到卖家的网站
- 为每个点击的链接收费
我现在需要做的是以某种方式确保我只在链接到卖家网站的链接后记录实际的人类用户。如果是爬取网站的机器人，我不应该为此向卖家收费。
有没有办法让我告诉机器人不要遵循某个链接？我不认为这nofollow不是为了阻止对内容的访问。
问问题
4307 次
3 回答
7
告诉机器人不要跟随链接的方法就是将 rel=nofollow 添加到您的 <a> 标记中。假设您在转发到外部 url 之前也在本地登录，您还可以检查用户代理字符串。
事实上，如果您要要求人们根据推荐次数付费，那么在每次点击付费时记录 IP 地址和用户代理可能是一个好主意，以防您的统计数据受到质疑。
于 2011-02-12T23:12:07.340 回答
3
于 2011-02-12T23:04:50.517 回答
0
通常，您可以通过用户代理字符串来识别它们。你可以在这里找到一个列表，不能说它是完美的，但它是一个很好的扩展基础：PHP/MySQL - 机器人的数组过滤器
Robots.txt 是另一种方式，更多信息在这里
于 2011-02-12T23:00:50.957 回答