我正在审查我的几个网站，以确保我的 SEO 基础被覆盖。有问题的网站上没有私人页面，我们希望所有页面都被索引。是否包含 robots.txt 文件（即使不需要）也会让我的网站看起来更有信誉和对 Google 来说更重要？
问问题
1359 次
6 回答
9
不管怎样，我只会包含一个空白，因为没有它，您的服务器仍在向请求者发送 404 消息。这可能比空白的 robots.txt 文件大。
于 2009-04-30T18:55:38.970 回答
3
根据Google，这是个好主意。他们的说明/指南实际上非常详尽。
于 2009-04-30T18:56:27.050 回答
2
只有谷歌可以为你回答。
根据维基百科，robots.txt 仅用于黑名单、速率限制和站点地图。
于 2009-04-30T18:55:33.277 回答
1
这个问题已经回答了，但是答案都有点老了，而且这个问题在搜索结果中不断出现，事情已经发生了变化。
Google 现在推荐以下内容：
如果您希望搜索引擎为您网站中的所有内容编制索引，则不需要 robots.txt 文件（甚至不需要一个空文件）。
JohnMu（来自 Google）也提出以下建议：
我建议更进一步，也许完全删除 robots.txt 文件。
于 2014-04-29T10:43:35.043 回答
0
不，它不会。
google有自己的规则来决定，不会依赖robots.txt的存在。
于 2009-04-30T18:55:00.703 回答
0
搜索引擎将寻找 robots.txt 文件。如果它不存在，搜索引擎将得到一个 404。最好有一个，即使它是空白的。
于 2009-04-30T18:58:14.300 回答