1

我们的站点上有一个站点地图，http://www.gamezebo.com/sitemap.xml

站点地图中的一些网址在网站管理员中心报告为被我们的 robots.txt 阻止，请参阅gamezebo.com/robots.txt！尽管这些网址在 Robots.txt 中是不允许的。还有其他此类网址，例如我们的站点地图中存在 gamezebo.com/gamelinks，但它被报告为“受 robots.txt 限制的网址”。

我在网站管理员中心也有这个解析结果，上面写着“第 21 行：抓取延迟：Googlebot 忽略了 10 条规则”。这是什么意思？

我感谢您的帮助，

谢谢。

4

1 回答 1

2

the crawl delay is not an actual specification in robots.txt format so that line will be ignored... you can set a custom crawl rate if you want to in google webmaster tools under settings > crawl rate

于 2010-02-22T22:34:45.407 回答