Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
拥有一个只有一行内容的 robots.txt 有什么意义,如下所示
用户代理: *
与根本没有相比?
不; 这样做是没有意义的。
不,谷歌(我们不要拐弯抹角,谷歌是你应该关心的搜索引擎)默认情况下会抓取所有内容,除非你告诉它不要这样做。
如果您想帮助 Google,请使用 google 网站管理员工具并以正确的格式提交站点地图
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184