seo - robots.txt 阻止机器人爬取子目录

Question

我想阻止所有机器人爬取子目录http://www.mysite.com/admin以及该目录中的任何文件和文件夹。例如，里面可能还有其他目录，/admin例如http://www.mysite.com/admin/assets/img

我不确定在 robots.txt 中包含哪些正确的声明来执行此操作。

应该是：

User-agent: *
Disallow: /admin/

或者：

User-agent: *
Disallow: /admin/*

或者：

User-agent: *
Disallow: /admin/
Disallow: /admin/*

Answer 1

根据网络上可用的信息（我无法全部检索到，但一些论坛实际上报告了问题，例如在这里和这里），我会关注那些建议我们从不告诉人们或机器人（或两者）在哪里是我们不希望他们看起来（“管理员”看起来像敏感内容......）。

检查后，我会确认这是你说的第一个。参考这里