seo - 如何使用 robots.txt 阻止用于 URL 缩短服务的子域？

Question

假设我的域是example.com. 在 上www.example.com，我设置了我的主网站（使用 Blogger 设置）并用于go.example.comURL 缩短（使用 GoDaddy 缩短服务设置）。现在，我想阻止所有go.example.comURL，以免它们被索引。

如果我在我的主博客中使用rel="noindex,nofollow"URL go.example.com，那么这会影响我的博客搜索引擎优化吗？

Answer 1

使用此 robots.txt go.example.com，您将禁止符合要求的机器人从该主机抓取任何 URL：

# https://go.example.com/
User-agent: *
Disallow: /

如果你对爬取没问题，但你想防止索引（你不能同时拥有），你必须使用noindex（在meta-robots元素或 HTTP 标头中X-Robots-Tag）。请注意，您不能在属性noindex中用作链接类型。rel

也就是说，如果您总是从（例如，使用 301）重定向go.example.com到规范 URL（在另一个主机上），搜索引擎机器人没有理由在 上索引您的文档go.example.com，因为您不提供任何内容，只提供重定向。