0

我有一个大型网站（超过 40,000 个页面）并且希望最小化 Google 正在索引的页面级别，即我希望仅索引 500 个页面。

我似乎只能找到Noindex'ing pages 的选项，对我来说 Noindex 39,500 个页面没有意义。

我的 Robots.txt 文件的示例。

User-agent: *
Noindex:  /category/long-site-url-1/
Noindex:  /
Noindex:  /site-url-2/
Noindex:  /site-url-3/

Sitemap: https://sitedomain/sitemap.xml
4

1 回答 1

0

Noindex在 robots.txt 中是/只是一个实验性功能（并且从未记录/指定）。

您应该在 HTML 中添加meta-robots元素或X-Robots-Tag在 HTTP 中为每个受影响的页面发送标头：

<meta name="robots" content="noindex" />

X-Robots-Tag: noindex
于 2017-09-22T06:12:02.827 回答