seo - 要阻止爬虫的子域与子目录

Question

我用谷歌搜索了很多，阅读了很多文章，但反应不一。

如果我想阻止我网站的某个部分被搜索引擎索引，我有点困惑哪个是更好的选择。基本上，我对我的网站进行了很多更新并为客户设计，我不希望我上传的所有“测试数据”都被编入索引，以避免重复的内容问题。

1. 我应该使用子域并阻止整个子域

   或者

2. 创建一个子目录并使用robots.txt.

我是网页设计的新手，对使用子域有点不安全（在某处读到它是一个有点高级的过程，即使是一个小错误也可能产生很大的后果，此外，Matt Cutts 也提到了类似的东西（来源）：

“我建议您使用子目录，直到您开始对自己网站的架构充满信心。到那时，您将更有能力为自己的网站做出正确的决定。”

但另一方面，我对使用robots.txt以及任何人都可以访问该文件犹豫不决。

两者的优缺点是什么？

现在我的印象是谷歌对两者的处理方式相似，最好使用robots.txt.

Answer 1

要么您要求机器人不要为您的内容编制索引（→ robots.txt），要么您将所有人拒之门外（→ 密码保护）。

对于此决定，您是否使用单独的子域或文件夹都无关紧要。您可以同时使用 robots.txt 或密码保护。请注意，robots.txt 始终必须放在文档根目录中。

使用 robots.txt 没有任何保证，这只是一个礼貌的请求。有礼貌的机器人会尊重它，而其他机器人则不会。人类用户仍然可以访问您的“不允许”页面。即使是那些尊重您的 robots.txt（例如 Google）的机器人也可能在他们的搜索中链接到您的“不允许的”内容（但他们不会索引内容）。

使用登录机制可以保护您的页面免受所有机器人和访问者的侵害。