0

我只是想知道在元标记中使用 no follow 规则后，googlebot 或任何其他搜索引擎蜘蛛/bot 的功能是什么。大概机器人在您的网站上，并通过链接重定向等方式进入页面，但如果链接页面包含代码<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">，那么机器人会去哪里？它是返回上一页还是执行其他功能？希望这听起来不是一个愚蠢的问题，但我只是好奇。

4

1 回答 1

0

通常，网络爬虫在遇到给定网页时不会直接访问在给定网页上找到的链接，而是将这些链接添加到等待列表中，当蜘蛛完成当前页面的加载时，他只需查看该列表并弹出另一个 url从那里开始，新链接不需要来自最后获取的页面，它可以来自上一页甚至另一个网站（取决于列表的组织方式）。

于 2013-03-14T16:25:36.693 回答