0

我正在查看一个网站的 robots.txt 文件，我想做一个一次性的抓取，并且有这一行：

User-agent: spider

Disallow: /

这是否意味着他们不想要任何蜘蛛？我的印象是 * 用于所有蜘蛛。如果属实，这当然会阻止诸如谷歌之类的蜘蛛。

4

1 回答 1

2

这只是告诉那些称自己spider足够温和不要浏览该网站的代理。

这没有什么特别的意义。

robots.txt 文件仅供机器人使用，因此排除所有机器人的一种方法是使用*：

User-Agent: *
Disallow: /
于 2011-08-28T09:39:25.777 回答