我网站的一个受 htaccess 保护的子目录不知何故已被谷歌索引（几个月前）。我必须将此目录添加到 robots.txt，但我不希望受保护的 url 在 robots.txt 中可见。我将此目录切换为一个新名称，它可能不会再次被索引，因为它没有在任何地方引用，但是......以防万一，我想向它添加一个 noindex。
我添加到我的子目录 .htaccess
Header set X-Robots-Tag "noindex"
当我禁用 htaccess 保护时它工作正常（我得到 noindex 标头响应）。一旦我添加了保护
AuthType basic
AuthName "Restricted Area"
AuthUserFile /path/to/.htpassword
Require user admin
并通过在身份验证窗口上点击取消来模拟错误，我收到 401 错误并且没有“noindex”标头。
我应该找到一种在 401 错误页面上添加 noindex 的方法还是有其他方法来管理它？