嗨，我最近在 Apache CPU 使用、Apache 内存使用和 MySQL 内存使用方面出现了超高峰值。事实证明，爬虫以非常激进的速度访问我的网站，尤其是 Facebook。我试图将 facebook 爬虫的爬取延迟添加到 robots.txt 文件中，如下所示：
User-agent: Facebot
Disallow:
Crawl-delay: 5
但我仍然看到高使用率峰值。这是由于代码不正确还是有更好的方法来完全停止使用我服务器的大量资源的爬虫？
任何帮助深表感谢。
嗨，我最近在 Apache CPU 使用、Apache 内存使用和 MySQL 内存使用方面出现了超高峰值。事实证明，爬虫以非常激进的速度访问我的网站，尤其是 Facebook。我试图将 facebook 爬虫的爬取延迟添加到 robots.txt 文件中，如下所示：
User-agent: Facebot
Disallow:
Crawl-delay: 5
但我仍然看到高使用率峰值。这是由于代码不正确还是有更好的方法来完全停止使用我服务器的大量资源的爬虫？
任何帮助深表感谢。