0

例如，我可以包括

用户代理：* 禁止：/

在机器人中，然后包含我想要的所有链接，包括站点地图中的主页和多个其他站点地图，并将它们编入索引？那样有用吗？

我注意到我们的一个竞争对手使用机器人来禁止链接，并且还在那些完全相同的链接上使用 rel=nofollow，但使用大量的站点地图来弥补它并且它们被编入索引。我注意到这种方法对于某些链接繁重且需要特定顺序的站点更好。

我可以这样做吗？

4

1 回答 1

0

robots.txt限制的页面根本不会被编入索引。根据谷歌网站管理员工具：

如果您的网站包含您不希望 Google 或其他搜索引擎访问的内容，请使用 robots.txt 文件指定搜索引擎应如何抓取您网站的内容。

将此类 URL 包含到sitemap.xml也不会影响索引。

于 2014-02-16T08:13:20.630 回答