robots.txt - 站长工具说 robots.txt 无法访问，但它存在

Question

我在尝试在谷歌网站管理员工具中配置一个新网站时遇到了真正的问题。我不断收到消息“无法访问 robots.txt”，谷歌说它无法抓取我的网站，因为它无法访问 robots.txt 文件。

正如您将看到的，该文件存在，并且我检查了服务器标头，它们返回该文件的状态 200。

http:// 万维网。top5beauty.co.uk / robots.txt（没有空格）

奇怪的是，当我获取 http://top5beauty.co.uk / robots.txt（没有 www）时，它发现没有问题，即使这实际上重定向到 www

有没有人有什么建议？

score 0 · Accepted Answer

您可以在您的网站管理员工具中进行“Fetch as Googlebot”测试，以立即查看是否可以访问任何页面/URL/文件
在您设置了一个“禁止：”规则来阻止所有访问。如果你想被索引，你应该尽快删除它。
要了解有关 robots.txt 的更多信息，您应该访问此官方文档，此外，由于最近 Googlebot 方法的变化，我建议您阅读我最近写的关于该主题的Googlebot 帖子。

顺便说一句：尽管我很喜欢我的帖子，但我仍然认为您应该首先阅读 Google 的文档，因为它处理最基本的问题 :)

干杯

score 0 · Accepted Answer

0

robots.txt 最多可能需要 2 天才能获取，如果您刚刚创建文件，则需要等待 :-)

于 2012-08-24T10:26:53.117 回答

2 回答 2