我在互联网上找到了几个程序，它们可以抓取您的网站并将整个网站下载到您的电脑上。如何从这些程序中保护您的网站？
链接： http: //www.makeuseof.com/tag/save-and-backup-websites-with-httrack/
问问题
37 次
1 回答
0
您必须首先判断访问者是人类还是机器人。这不是一件容易的事，请参见例如：将机器人与人类访客区分开来获取统计信息？
然后，如果您检测到它是什么机器人，您可以决定是否要将您的网站内容提供给它。合法的机器人（如 Googlebot）将方便地提供自己的 userAgent id；恶意机器人/网络爬虫可能会将自己伪装成常见的浏览器程序。
无论如何，没有100％的解决方案。
如果您的内容非常敏感，您可能需要添加验证码或用户身份验证。
于 2013-08-20T06:52:27.250 回答