是否有一种准确的方法来检查当前查看我网站的用户是否是实际用户而不仅仅是爬虫。假设我在我的 ASP.Net 应用程序中编写了一些代码来从任何网站下载某些页面，但该应用程序如何知道我正在下载这些页面。
我试图设置一个计时器来记录他的最后一次访问时间，但如果可能的话，我想要一个更好的方法。这个问题是一种安全。我已经进行了一些研发，例如在每个页面上发送一个唯一的标识号，并在另一个请求中返回到 Web 服务器，但这不是一个好方法。有没有人有什么建议？
问问题
99 次
1 回答
0
没有任何真正的准确性。当一个唯一的 IP 在 2 秒内读取站点中的每个页面时，您可能会假设您有一个爬虫，尽管它也可能是一个预先缓存的浏览器插件。
许多爬虫通过他们发送的标头来标识自己，但这并不意味着所有爬虫都这样做，并且有很多关于如何欺骗标头看起来像你不是的东西（旧示例假装是 Internet Explorer 的版本）为了让一些网站给你数据）。
此外，用户可以使用 PHP 通过复制标头并以类似方式抓取所有内容来假装自己是爬虫之一。
如果这是出于安全考虑，您最好避免依赖客户告诉您的任何内容并尝试另一种方法（如果您真的很认真，请注册/登录/信用卡）
于 2013-04-30T11:02:28.910 回答