1

我对这个机器人文件有一些疑问。

User-agent: *
Disallow: /administrator/
Disallow: /css/
Disallow: /func/
Disallow: /images/
Disallow: /inc/
Disallow: /js/
Disallow: /login/
Disallow: /recover/
Disallow: /Scripts/
Disallow: /store/com-handler/
Disallow: /store/img/
Disallow: /store/theme/
Disallow: /store/StoreSys.swf
Disallow: config.php

这将禁用每个文件夹内所有文件的爬虫，对吗？或者我必须在每个文件夹名称的末尾添加一个星号？

我认为应该这样做。但我不确定是否必须在我认为不需要Allow: /之后立即添加。User-agent

这个机器人文件有什么问题吗？

PS：如果有人可以建议本地使用的验证应用程序，我会很高兴。

谢谢。

4

1 回答 1

2

没关系，如果我明白你想要什么。例如

/administrator/
/css/subpage

都被阻止了，但是

/foo

被允许。请注意，Allow 是一个受支持较少的扩展，仅用于对抗之前的 Disallow。例如，您可能会使用它，尽管您

Disallow: /images/

您决定要允许特定图像。所以，

Allow: /images/ok_image

所有其他图像仍然被阻止。您可以查看http://www.searchtools.com/robots/robots-txt.html了解更多信息，包括检查器列表。

于 2009-11-03T23:39:17.420 回答