问题标签 [x-robots-tag]

如果 Nginx 作为 Apache 和 Web 之间的反向代理，我应该在哪里添加 X-Robots-Tag（以添加一些额外的标头） - 在 Apache 的 htaccess 或 Nginx 配置文件中？

因此，我在服务器上有一个 wordpress 网站，其中始终包含 x-robots-tag，因为它主要是存储云托管。

我想摆脱标签，因为有了它，我的网站不会被谷歌和其他搜索引擎索引。

我试图在 .htaccess 文件中覆盖它，由于某种原因，它适用于所有 html 页面，但所有 php 页面都不会改变。我尝试使用我的wordpress主题的functions.php和header.php来取消设置标题，但没有任何运气。

我Header always unset x-robot-tag在htaccess文件中使用。

我正在使用 Symfony 5 框架开发一个项目。我已经将该代码部署到生产环境中。当我尝试将网站添加到谷歌搜索引擎时，我得到：

错误“否：在‘X-Robots-Tag’http 标头中检测到‘noindex’”

我已将环境从开发更改为生产，但仍然遇到相同的错误。我已尝试禁用 disallow_search 索引，但此方法也不起作用

如何在 Symfony 5 中更改 X-Robots-Tag 标头？

我正在尝试设置X-Robots-Tag为允许 Googlebot 为我的网站编制索引。我没有文件，也没有与我的任何 html 文件robots.txt相关的任何元标记。X-Robots-TagApache 服务器正在返回一个X-Robots-Tag设置为的标头"noindex, nofollow"。如何通过编辑.htaccess文件取消设置此标签？

这是我在使用 Chrome 插件“机器人排除检查器”时得到的：

X-Robots 状态被封锁 noindex,nofollow。

我的.htaccess文件内容：

我尝试将其添加到.htaccess文件的底部：

然后我从 Chrome 扩展中得到这个响应：

X-Robots BLOCKED noindex,nofollow,index,follow.

（注意它在下面的列表中出现了两次。）

有没有办法删除原始X-Robots-tag标题并用新标题替换它？我试过Header unset X-Robots-Tag了，但不行（仍然显示“BLOCKED noindex，nofollow”）。

解决方案：对我有用的是包含一个 robots.txt 文件并确保所有超链接都以斜杠结尾。似乎没有斜杠，我得到了一个 301 重定向，其中包括有问题的 noindex,nofollow 标头。

我有一个带有静态网站托管设置 + 云端的亚马逊 s3 存储桶。我在 s3 存储桶 [example.com/Books] 中有一个文件夹，其中包含 pdf 文件。我已经在 google 搜索控制台 [不包含任何 pdf url] 中提交了站点地图，但 google 正在搜索结果中索引 pdf 文件。

在搜索控制台中，我添加了一个从搜索结果中删除所有带有前缀 [example.com/Books/*] 的 url 的请求，以便立即删除。我搜索了如何停止索引文件和文件夹，发现我必须添加“X-Robots-Tag: noindex”作为 http 标头元数据。如何将其添加到 s3 存储桶？我已将自定义元数据添加到文件夹 'Books' x-amz-meta-X-Robots-Tag: noindex。

我已经阅读了许多帖子，其中写到我不应该阻止机器人使用 Robots.txt 访问该文件夹，因为它不会告诉搜索引擎我已添加到该文件夹​​的“noindex” http 标头。现在要做什么 ？

对于我的 Vue SPA，SEO 很重要；我已经编写了自己的函数来为每个路由设置元标记我在created视图的生命周期钩子中触发了一个像这样的简单函数：

该功能似乎有效，因为在检查时我看到需要用noindex值阻止的页面和需要用值索引的页面index。

但是谷歌搜索控制台告诉我某些页面没有被索引，因为机器人元标记具有值noindex（与我在检查时所期望和看到的相反）。

这created可能是时间和生命周期挂钩的问题吗？

出现此问题以获取额外上下文的页面之一： https ://trainervinden.nl/blog/afvallen-met-een-personal-trainer

任何帮助深表感谢！

我需要旅游帮助。我需要 noindex 单个 pdf 文件。我知道如果我想不索引所有 pdf 文件，最好使用 x-robots 标签

如果我想将所有其他 pdf 都编入索引，而我只想对一个 pdf 文件不编入索引，那该怎么办？文件的路径类似于www.dominio.it/file.pdf

我知道使用robot.txt 不是一个解决方案，因为它只是防止爬行而不是索引。向任何愿意帮助我的人表示感谢。

我想对子目录“作者”中的所有网站/URL 不编制索引。

例子：

.htaccess似乎是正确的地方。

我发现了一些应该可以解决问题的代码，但没有

出了点问题

不显示 noindex。

我究竟做错了什么？谢谢你的帮助。非常感谢

编辑：

我搜索并找到了可以解决问题的方法

我需要有关将 x-robots-tag 添加到某些 url 模式的帮助。

我的网站有许多被搜索引擎抓取的 ?nonamp=1 ?amp 类型的模式。我想让引擎抓取这些网址，但不希望他们为这些网址编制索引。（我无法为这些特定的 url 模式添加 php no-index 标头）

我的问题是如何将 x-robots-tag 添加到我的网络服务器上的那些 urls 模式。

示例网址：

我想将 x-robots-tag 添加到所有这 3 个结束模式（？amp=1，？nonamp=1，？amp）

感谢帮助。此致。