0

我创建了一个 robots.txt 文件，并在该文件中添加了以下内容

User-agent: *
Disallow: /

我已将此上传到我的根文件夹。

如果“蜘蛛”没有检查 robots.txt，那么它很可能是恶意的，在这种情况下会欺骗用户代理。

有办法阻止这一切吗？甚至让他们更难？

4

0 回答 0