search-engine - 停止 Google 索引子域

Question

我有一个使用通配符子域的站点，这样当有人注册时，他们就会获得自己的子域。

我不希望谷歌（或其他搜索引擎）抓取和索引任何子域（接受 www.）

有没有办法用 robots.txt 做到这一点？

问候

Answer 1

我猜不，至少不是直接使用一个全局robots.txt文件。见：http ://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt

在该页面的某处，andykuiper 写道：

您可以通过 robots.txt 阻止整个子域，但是您需要创建一个 robots.txt 文件并将其放在子域的根目录中，然后添加代码以指示机器人远离整个子域的内容。

用户代理：* 禁止：/

也可以看看：

• http://productforums.google.com/forum/#!topic/webmasters/f5AfW1otAUo
• 使用 robots.txt 在子域上禁止或无索引
• 子域不允许通过 robots.txt 搜索机器人

制作一个脚本，将robots.txt文件创建/复制到新创建的子域，一切都应该按预期工作。