我有一个类似domaindev.com的域。
我已robots.txt将此域上的文件设置为阻止所有内容：
User-agent: *
Disallow: /
就这样。这样可以阻止所有内容被抓取。
现在这里是有趣的地方。我们的服务器上还托管了几个 subdomains.domaindev.com，我也想阻止所有这些子域被抓取。我想要一种简单的方法来阻止任何旧子域和任何新子域。有没有可以添加到www.domaindev.com的行来阻止 ? 下的任何子域domaindev.com？
是设置默认值robots.txt并手动将其放入所有子域文件夹的最佳方法。
我真的很想要一个明确的解决方案，这样就不必不断地做同样的事情。
我们使用 WordPress，并在 wp-admin 中将其设置为不让蜘蛛爬取我们的网站。但不知何故，这些网站正在寻找进入谷歌的途径。
我该怎么做？
我搜索了该网站，发现这一行要添加到我的.htaccess文件中：
Header set X-Robots-Tag "noindex, nofollow"
我也会这样做。
我还看到每个子域都需要自己的robots.txt文件是标准的一部分。