0

所以我在同一个域中有一个普通的网站和一个博客。将来我计划专门为博客购买一个域，但现在我会这样做。

博客在目录中/blog，并且没有从主站点到博客的链接。所以我认为机器人无法到达那里。

有没有办法使用 将机器人发送到特定目录robots.txt？除了在主站点中放置链接之外，还有其他解决方案吗？

4

1 回答 1

1

您可能想使用站点地图来实现这一点

机器人排除标准，也称为机器人排除协议或 robots.txt 协议，是防止合作的网络爬虫和其他网络机器人访问网站的全部或部分内容的约定，该网站原本可以公开查看。搜索引擎经常使用机器人对网站进行分类和存档，或者网站管理员使用机器人来校对源代码。该标准不同于站点地图，但可以与站点地图结合使用，站点地图是网站的机器人包含标准。

http://en.wikipedia.org/wiki/Robots_exclusion_standard

于 2013-06-14T02:15:32.773 回答