我有一个网站（例如：www.examplesite.com），并且我正在创建另一个站点作为 IIS 中的一个单独的独立站点。第二个站点的 URL 将使它看起来像是我的主站点的一部分：www.examplesite.com/anothersite。这是通过在我的主站点下创建一个指向第二个站点的虚拟目录来完成的。
我允许我的主站点 (www.examplesite.com) 在搜索引擎中被索引，但我不希望我的第二个虚拟目录站点被搜索引擎看到。我可以允许我的第二个站点拥有自己的 robots.txt 文件，并禁止该站点的所有页面吗？还是我需要修改我的主站点的 robots.txt 文件并告诉它禁止虚拟目录？
您不能拥有自己的 robots.txt 目录。只有“主机”可以拥有自己的 robots.txt：example.com、www.example.com、sub.example.com、sub.sub.example.com、...</p>
所以如果你想为 设置规则www.example.com/anothersite，你必须使用 robots.txt 在www.example.com/robots.txt。
如果要屏蔽子站点的所有页面，只需添加：
User-agent: *
Disallow: /anothersite
这将阻止所有以“另一个站点”开头的URL 路径。例如，这些链接都被阻止了：
www.example.com/anothersitewww.example.com/anothersite.htmlwww.example.com/anothersitefoobarwww.example.com/anothersite/foobarwww.example.com/anothersite/foo/bar/注意：如果您的 robots.txt 已经包含User-agent: *，则必须Disallow在此块中添加该行而不是添加新块（机器人一旦找到与其匹配的块就会停止读取 robots.txt）。