我们的网站正在接收尝试访问不存在页面的请求。通常只有地址拼写错误的情况。就像正确的链接是/Info/SiteMap.aspx，但错误的请求是/Inf/SiteMap.aspx 缺少'o'。通常有很多请求，例如一分钟内连续 20 个请求。全部抛出 404。
是某个索引机器人的问题吗？或者有人测试我们网站的漏洞吗？
有什么经验或技巧吗？
问问题
655 次
1 回答
1
是的，请考虑以下事项。
发送请求的主机的 IP 地址 - 如果它们是不同的但有多个 IP，我们可以怀疑它是使用 Zombies 进行的分布式攻击。
. 如果请求来自同一来源，请检查请求之间的延迟。一般来说，爬虫不会在请求之间使用极短的时间间隔。
索引机器人（爬虫）不执行“蛮力”类型的索引。他们只是从一页中检索链接并逐页递归地遍历。所以造成这种情况的原因应该不是分度机器人。
检查任何模式。我的意思是顺序命名模式等。
例如：/Inf/SiteMap.aspx、/Infa/SiteMap.aspx、/Infb/SiteMap.aspx
于 2009-05-07T09:25:33.620 回答