只是想知道是否可以禁止整个网站供爬虫使用，只允许特定网页或部分？FAST 和 Ultraseek 等爬虫是否支持“允许”？
问问题
7689 次
1 回答
7
有一个允许指令，但不能保证特定的机器人会支持它（就像不能保证机器人甚至会检查你的 robots.txt 开始）。您可能可以通过检查您的博客来判断特定机器人是否仅索引您允许的网站部分。
仅允许网站的特定页面或部分的格式可能如下所示：
Allow: /public/section1/
Disallow: /
这（应该）防止机器人抓取或索引除 /public/section1 下的内容之外的任何内容
于 2008-12-26T07:40:58.093 回答