robots.txt - 通过 robots.txt 阻止属于另一个网站的子目录的影响

Question

我在 hostgator 上有托管设置，它在主站点的子目录中创建插件域。所以结构是

public_html
    - main_site
        - main_site_folders
        - addon_site1
        - addon_site2

等等。如果我在主站点中禁止 robots.txt 中的 addon_site1 和 addon_site2 会阻止搜索引擎索引插件站点吗？我无法找到对此的直接答案，如果有人可以指给我一份文件，可以毫不含糊地解释这个概念，我将不胜感激。

score 2 · Accepted Answer

如果你挡住/main_site/addon_site了，那么机器人就不会去www.main_site.com/addon_site。但是，这并不妨碍他们直接前往www.addon_site.com。

如果你想阻止它们被索引www.addon_site.com，你需要在addon_site文件夹中放置一个 robots.txt 文件：

User-agent: *
Disallow: /

你需要在你的问题中澄清你想要做什么。

score 1 · Accepted Answer

是的：

Disallow: /main_site/addon_site1
Disallow: /main_site/addon_site2

...假设 robots.txt 在您的 public_html 目录中。

如果您的站点根目录位于 /public_html/main_site 中（例如：http ://example.com/指向 /public_html/main_site），您可以将 robots.txt 放入 /public_html/main_site 中，其中包含以下内容：

Disallow: /addon_site1
Disallow: /addon_site2

2 回答 2