.htaccess - 301 重定向到除 robots.txt 之外的所有内容

Question

我们已将我们的网站移至新域，并希望从搜索引擎中删除旧网站的所有页面。它是同一个站点，相同的内容，只是一个新域，因此搜索引擎会因为重复的内容（也许）而花费时间。我们已将 .htaccess 301 从旧站点添加到新站点：

redirect 301 / http://new-domain.com/

现在，为了从搜索引擎中删除我们的旧网站，我们将旧网站上的 robots.txt 更改为：

User-agent: *
Disallow: /

问题是，由于 .htaccess 301 重定向，搜索引擎正在从 new-domain.com 获取 robots.txt。

如何限制 robots.txt 的 301 重定向？

Answer 1

Remove the Redirect directive and try this mod_rewrite rule:

RewriteEngine on
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301]

This will redirect any request except /robots.txt.

Answer 2

我尝试了不同的配置并花了几个小时，最后我发现这段代码运行良好，希望得到想要的结果这是禁止搜索引擎的代码。

User-agent: *
Disallow: /