php - 以指数方式延迟对php中同一文件的重复请求

Question

我希望防止机器人爬取我们的网站并下载那里托管的数千张图片。

我最近在https://github.com/remy/password-policy阅读了有关密码策略最佳实践的内容。其中一个想法是通过不限制人类而是惩罚机器人来以指数方式延迟重复请求。

这在php中可能吗？

Answer 1

最简单的方法是将相关 URL 重写为实现下载的 PHP 脚本。这个会

• 保留源地址列表（例如在 memcached 中）及其最后时间戳和惩罚时间
• 根据时间戳将惩罚时间加倍或为零，
• 写回记录
• 最后睡觉并下载。