下面的列表有什么区别：
<meta name="robots" content="index, follow">
<meta name="robots" content="follow">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">
问问题
11207 次
3 回答
4
首先，你知道 Meta Robots 标签吗？Meta Robots 标签是告诉蜘蛛或爬虫要爬取或索引哪个页面。
跟随意味着：页面将被抓取。
No Follow 表示：页面不会被抓取。
索引意味着：您的页面显示在搜索结果中。
无索引意味着：您的页面未显示在搜索结果中。
<meta name="robots" content="index, follow">
这个标签告诉网络爬虫所有页面都将被索引并爬取它们。
<meta name="robots" content="follow">
该标签用于告诉网络爬虫所有页面都将被爬取和索引。
<meta name="robots" content="noindex, follow">
此标记用于告诉爬虫跟踪但不索引数据库中的页面。
<meta name="robots" content="index, nofollow">
告诉网络爬虫页面不要抓取而是索引它们。
<meta name="robots" content="noindex, nofollow">
告诉网络爬虫既不索引也不爬行。
于 2018-07-15T04:30:31.907 回答
2
蜘蛛将索引您的整个网站。蜘蛛不仅会索引您网站的第一个网页，还会索引您所有其他网页，因为它会通过该页面的链接进行爬网。告诉搜索引擎它可能会跟随页面上的链接，以发现其他页面。（这两个都是默认行为）
<meta name="robots" content="index, follow">
<meta name="robots" content="follow">
蜘蛛现在将索引您的整个网站。蜘蛛不会索引网页，但它可能会跟随页面上的链接，以发现其他页面。
<meta name="robots" content="noindex, follow">
蜘蛛会索引这个页面，但它不会跟随这个页面上的链接到新页面。
<meta name="robots" content="index, nofollow">
蜘蛛根本不会索引这个页面，也不会跟随这个页面上的链接到任何其他页面。
<meta name="robots" content="noindex, nofollow">
资料来源：
https://www.metatags.org/meta_name_robots
https://yoast.com/robots-meta-tags/
https://developer.mozilla.org/en-US/docs/Web/HTML/Element/meta#attr-name
于 2018-07-11T05:14:22.287 回答
1
这些标签之间的主要区别是，用非常简单的话来说：
noindex 该页面应该不会显示在 google、yahoo 等页面的结果列表中。 index表示相反的意思并允许它。
nofollow 禁止爬虫/机器人调用（跟踪）嵌入/在其元数据中带有此标志的页面中找到的链接。 跟随意味着相反并允许它。
现在你可以自己弄清楚这两种组合的结果。;)
于 2018-07-11T05:02:29.923 回答