1

我正在将 CodeIgniter 与存储在我的数据库中的会话一起使用。在短时间内，机器人/蜘蛛等创建了大量会话。

有没有办法防止这种情况？也许通过.htaccess？

4

1 回答 1

1

首先，您应该在域的 Web 根目录中创建一个 robots.txt 文件来解决两个问题。首先控制网站被抓取的速度，这有助于防止机器人/蜘蛛同时创建大量数据库连接。其次是防止特定的机器人爬取网站。使用以下默认值，但您可能希望添加或删除拒绝的用户代理，并调整抓取速度

示例代码：

User-agent: *
Crawl-delay: 10

User-agent: Baiduspider
Disallow: /

User-agent: Sosospider
Disallow: /

使用 /robots.txt 时有两个重要的注意事项：

  1. 机器人可以忽略您的 /robots.txt。尤其是扫描网络以查找安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器将不予理会。
  2. /robots.txt 文件是公开可用的文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。
于 2012-09-03T05:52:01.313 回答