apache - 如何为 HTTP 301 响应设置缺少的 X-Robots-Tag？

Question

我想为特定的不良搜索引擎设置 noindex x-robots 标记，该搜索引擎索引甚至重定向页面，而不是最终目的地。

在我的根 .htaccess 文件的顶部，我添加了以下规则。

<IfModule mod_headers.c>
Header add X-Robots-Tag "BadBot: noindex"
</IfModule>

它以这种方式工作。

Requesting http://example.com/page

SERVER RESPONSE: HTTP/1.1 301 Moved Permanently

Date: Mon, 17 Jul 2017 11:17:10 GMT
Content-Type: text/html; charset=iso-8859-1
Connection: keep-alive
Location: https://example.com/page


SERVER RESPONSE: HTTP/1.1 301 Moved Permanently

Date: Mon, 17 Jul 2017 11:17:11 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Location: https://www.example.com/page/
X-Robots-Tag: BadBot: noindex


SERVER RESPONSE: HTTP/1.1 200 OK

Date: Mon, 17 Jul 2017 11:17:13 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
X-Robots-Tag: BadBot: noindex

要求：http://example.com/page 最终：https://www.example.com/page/

在请求的 URL 中，强制 HTTPS 时缺少X-robots-tag 。有没有办法解决这个问题？

谢谢

Answer 1

我认为你犯了一个小语法错误。而不是Header add X-Robots-Tag应该Header set X-Robots-Tag

<IfModule mod_headers.c>
Header set X-Robots-Tag "BadBot: noindex"
</IfModule>

参考： https ://yoast.com/x-robots-tag-play/