.htaccess - 排除测试子域被搜索引擎抓取（带 SVN 存储库）

Question

我有：

我希望 domain.com 被搜索引擎抓取和索引，而不是 testing.domain.com

测试域和主域共享同一个 SVN 存储库，所以我不确定单独的 robots.txt 文件是否可以工作......

score 11 · Accepted Answer

1) 创建单独的 robots.txt 文件（例如，将其命名为robots_testing.txt）。

2) 将此规则添加到网站根文件夹中的 .htaccess 中：

RewriteCond %{HTTP_HOST} =testing.example.com
RewriteRule ^robots\.txt$ /robots_testing.txt [L]

它将重写（内部重定向）任何robots.txt对robots_testing.txtIF domain name =的请求testing.example.com。

或者，做相反的事情——重写所有域的所有请求，robots.txt除了：robots_disabled.txtexample.com

RewriteCond %{HTTP_HOST} !=example.com
RewriteRule ^robots\.txt$ /robots_disabled.txt [L]

score 2 · Accepted Answer

testing.domain.com 应该有它自己的 robots.txt 文件，如下所示

User-agent: *
Disallow: /

User-agent: Googlebot
Noindex: /

位于http://testing.domain.com/robots.txt
这将禁止所有 bot 用户代理，并且当谷歌查看 Noindex 时，我们将只考虑它。

您还可以将您的子域添加到网站管理员工具 - 由 robots.txt 阻止并提交网站删除（尽管这仅适用于谷歌）。有关更多信息，请查看 http://googlewebmastercentral.blogspot.com/2010/03/url-removal-explained-part-i-urls.html

2 回答 2