1

我是否需要在 robots.txt 中的 disallow 语句之后添加一条 allow all 语句，或者机器人是否假定他们可以抓取任何未标记为不允许的内容。

例子：

User-Agent: *

Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
Disallow: /file1.php
Disallow: /file2.php

Allow: /

Sitemap: http://www.example.co.uk/sitemap.xml

或者

User-Agent: *

Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
Disallow: /file1.php
Disallow: /file2.php

Sitemap: http://www.example.co.uk/sitemap.xml
4

1 回答 1

0

如果您的意图是允许蜘蛛查找除明确禁止的项目之外的所有内容，则无需明确允许。

不允许规则用于蜘蛛确定是否不应该索引它找到的东西 - 如果这些规则中没有匹配蜘蛛当前正在查看的地址，它就会被索引。

这是一个相当简单的示例页面。

于 2013-04-15T11:11:42.447 回答