automation - 如何阻止自动扫描仪扫描网站留下 robots.txt 任何其他方式可以进行配置？

Question

有谁知道如何阻止自动扫描程序扫描 Web 应用程序或网站？留下robots.txt 还有其他方法可以配置吗？任何服务器端修改？

Answer 1

1. 您可以添加一个/robots.txt文件，该文件可以很好地要求扫描仪不要扫描您网站的全部或部分内容。大多数合法的搜索引擎机器人都会按照您在 robots.txt 中的说明进行操作

例如：

User-agent: *
Disallow: /api/

2. 如果你想要更花哨的裤子，你可以在/api/上添加一个普通浏览器无法访问的 http get。例如，您的应用程序 HTML 可以访问/api/customers和/api/suppliers但永远不会访问/api/。

当自动扫描仪读取/api/时，您可以拒绝来自该 IP 的任何进一步请求 10 分钟。它可能会有所帮助。

3. 像OWASP ModSecurity这样的Web 应用程序防火墙也可能会有所帮助