如果我有一个带有 noindex 标签的页面<meta name="robots" content="noindex" />，我知道该页面不会显示在搜索结果中。
但是页面上的链接还会被爬取吗？
如果我想让它们被抓取，我可以设置类似 <meta name="robots" content="noindex, follow" />. 它会起作用吗？
问问题
158 次
1 回答
0
noindex 标记<meta name="robots" content="noindex" />用于防止大多数搜索引擎网络爬虫将您网站上的页面编入索引。
爬虫不会使用content="noindex, follow"标签索引页面，但会爬取其余页面。
您可以在此处找到更多详细信息：http ://www.robotstxt.org/meta.html
于 2016-06-14T02:49:00.060 回答