0

我从网络爬虫机器人那里收到大量请求,要求我网站上的 /cachecp/ 目录中的文件(该目录在我的服务器上不存在,但我认为是黑客机器人在寻找漏洞。)IP 都是完全不同,所以我不能阻止IP。

我收到以下请求:mydomain.com/cachecp/helps/wholesale-plus-size-clothing.html 但是该文件夹和 html 文件都不存在(或曾经存在)。html 文件似乎是完全随机的,与我的产品无关。

我可以使用 htaccess 向任何试图访问该文件夹的机器人提供 403 错误和/或禁止该 IP 多次尝试吗?

4

1 回答 1

0

在您的 robots.txt 文件中使用它

User-agent: *
Disallow: /cachecp/

请记住,robots.txt 是“君子协议”,一些不那么谨慎的机器人会完全无视您的规则。

于 2013-05-15T10:51:46.283 回答