1

我有这个带有域名的 Rails 应用程序abc.com。在这个子域中，我还有一个用于 Piwik 统计信息的单独子域stats.abc.com。

Googlebot 也以某种方式列出了我的子域的一些链接。

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

那些stats将引用应用程序中的同一页面，但被视为完全不同的网站。

我已经robots.txt在stats这件事之后加入了，但想知道是否有任何适当的方法来阻止它，因为我将来可能会有新的子域。这是我的内容robots.txt

User-agent: *
Disallow: /

谢谢。

4

1 回答 1

0

Robots.txt 会很好地阻止它。在发布网站之前记住这一点很重要——谷歌的速度非常快。一些搜索引擎会忽略 robots.txt。最好的办法是没有真正适合您情况的子域。我建议阅读子域的真正目的。您不应该在不同的域上为同一个站点提供服务。您应该直接使用 301 或在不同的（子）域上有不同的内容......除非 stats.abc.com 包含不同的材料，否则它不应该是子域。您到底需要这么多子域做什么？

您可以检测到用户代理，如果它是机器人，也返回 404

于 2010-12-29T02:44:23.020 回答