我有一种情况,我们有两个代码库需要保持不变..
例子:http://example.com
。
和一个新的网站http://www.example.com
。
旧站点(无 WWW)支持一些遗留代码并具有以下规则:
User-agent: *
Disallow: /
但是在新版本(带有 WWW)中没有robots.txt
.
Google 是否将旧的(无 WWW)robots.txt
文件作为其规则?并将添加
User-agent: *
Allow: /
到(WWW)方面覆盖这个?
robots.txt
目前不能选择在旧代码库中进行更改。