1

我试图阻止我的网站被索引/列出：

我已经在 .htaccess 中设置：

Header set X-Robots-Tag "noindex, nofollow"

是否也需要设置robots.txt？

User-agent: *
Disallow: /

添加 robots.txt 有什么害处吗？

4

1 回答 1

0

找到答案，如果设置了 X-Robots-Tag，我必须删除 robots.txt 中的所有禁止抓取：

抓取 URL 时会发现机器人元标记和 X-Robots-Tag HTTP 标头。如果不允许通过 robots.txt 文件抓取页面，则将找不到任何有关索引或服务指令的信息，因此将被忽略。如果必须遵循索引或服务指令，则不能禁止抓取包含这些指令的 URL。

通过：https ://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#combining-crawling-with-indexing--serving-directives

于 2016-08-18T21:50:57.057 回答