0

这是我在这里的第一个问题,但我使用这个论坛很长时间来解决我在此期间遇到的很多问题,但现在我找不到任何信息来帮助我解决这个问题。

我有几个有附属内容的联合品牌,所以我无法控制所有内容,因为它们是白标签,我只在它们上设置 cname。因为现在谷歌似乎正在考虑将联合品牌作为整个根页面。

我需要对这个联合品牌进行索引以消除低内容报告;我正在尝试联系会员经理,但....他们很慢(其中一些)。

我正在寻找一种在 robots.txt 中禁止此站点的方法: http: //cobrand.domain.com ...

任何帮助都非常感谢。发送

4

1 回答 1

2

如果要禁止抓取主机为 的 URL,则http://cobrand.example.com/需要robots.txt在该主机的文档根目录中放置一个文本文件:http://cobrand.example.com/robots.txt

以下内容将阻止每个礼貌机器人的所有内容:

User-agent: *
Disallow: /
于 2013-09-27T22:41:44.367 回答