我需要让所有代理访问我的所有站点及其子目录，但有两个目录：
User-agent: *
Disallow: /disable_dir_1/
Disallow: /disable_dir_2/
这是实现这一目标的正确方法吗？
问问题
99 次
1 回答
1
有一些工具可以自动执行此操作： robots.txt 生成器
无论如何，您的方法还可以，但我强烈建议您在这方面遵循 Google 的建议： Google robots.txt 说明
于 2013-10-26T10:39:55.107 回答