Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我正在处理的网站有一些小问题,我想发布一个测试版本,在其中进行一些调整以查看外观(我也想在移动设备上进行测试,因此拥有实时版本肯定是在多个设备上进行测试的最简单方法)。
理想情况下,我希望有类似 mysite.com/test/ 的东西,它将从主站点的精确副本开始。但是,我不想因为“重复内容”而在谷歌等方面遇到任何问题。
避免此类问题的最佳方法是什么?
放 <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
我想您会希望域根目录中有一个 robots.txt 文件来指示爬虫程序可以扫描哪些页面。
http://tools.seobook.com/robots-txt/