我正在为我的网站构建一个 bot-trap / crawler-trap:
页面某处有一个隐藏链接,普通用户看不到,但机器人可以看到。链接也标明了robots.txt
,所以Google
不会掉入陷阱。当机器人打开隐藏页面时,IP 会自动在MySQL
.
我的问题是:
- 当一个新的 IP 被标记时,哪种方式更好地阻止它:重新生成
.htaccess
文件,并添加新的 IP,这样网络服务器本身就会进行阻止。 - 不要乱来,而是从每次有人加载页面时
.htaccess
查找表格,然后决定如何处理用户。IP
MySQL
PHP