我有 www.domainname.com, origin.domainname.com 指向同一个代码库。有没有办法，我可以防止 basename origin.domainname.com 的所有 url 被索引。
robots.txt 中是否有一些规则可以做到这一点。两个网址都指向同一个文件夹。另外，我尝试在 htaccess 文件中将 origin.domainname.com 重定向到 www.domainname.com，但它似乎不起作用..
如果有人遇到过类似问题并可以提供帮助，我将不胜感激。
谢谢
您可以重写robots.txt到其他文件（让我们将此命名为“robots_no.txt”，其中包含：
User-Agent: *
Disallow: /
（来源：http ://www.robotstxt.org/robotstxt.html ）
.htaccess 文件如下所示：
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www.example.com$
RewriteRule ^robots.txt$ robots_no.txt
为每个（子）域使用自定义 robots.txt：
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.example.com$ [OR]
RewriteCond %{HTTP_HOST} ^sub.example.com$ [OR]
RewriteCond %{HTTP_HOST} ^example.com$ [OR]
RewriteCond %{HTTP_HOST} ^www.example.org$ [OR]
RewriteCond %{HTTP_HOST} ^example.org$
# Rewrites the above (sub)domains <domain> to robots_<domain>.txt
# example.org -> robots_example.org.txt
RewriteRule ^robots.txt$ robots_${HTTP_HOST}.txt [L]
# in all other cases, use default 'robots.txt'
RewriteRule ^robots.txt$ - [L]
除了要求搜索引擎阻止除 之外的所有页面之外www.example.com，您也可以使用<link rel="canonical">。
如果http://example.com/page.html和http://example.org/~example/page.html都指向http://www.example.com/page.html，则将下一个标记放入<head>：
<link rel="canonical" href="http://www.example.com/page.html">
仅用于 .htaccess：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]