0

我的网站存在性能问题，部分原因是机器人。我检查了我的 AWStats，发现一些 IP 地址占用了大量带宽。我如何判断将这些列入黑名单是否安全？少数人每月持续消耗 2 GB 或更多。

看到这个截图： https ://ibb.co/hJ6hmR

我尝试对这些 IP 进行 IP 查找，但我如何判断它是否应该保留，例如已知的爬虫？

我还检查了 AWStats 中的 Crawlers，但我没有看到 IP 地址，所以我不知道它来自什么。一个未知机器人占用了 11 GB，而 Googlebot 只使用了 1 GB。 https://ibb.co/cWDCmR

如何挑选出不良爬虫？

4

1 回答 1

0

如果您使用的是 Apache，您可以尝试禁止 .htaccess 中的机器人

BrowserMatchNoCase thisisthebotname bad_bot
Order Deny,Allow
Deny from env=bad_bot

但是你需要机器人的用户代理

于 2017-10-29T18:19:12.733 回答