1

我想禁止 SE 机器人访问我网站上的所有文件和文件夹，但其中的特殊文件夹和文件除外。我可以在 robots.txt 文件中使用这些行吗？

User-agent: *
Disallow: /
Allow: /thatfolder

这样对吗？

4

1 回答 1

4 
User-agent:* 
Allow: /thatfolder
Disallow: /

这应该做。（只是改变了顺序）

于 2010-07-24T06:35:05.727 回答