0

我的网站已成功通过 Google 网站管理员验证。我对robot.txt的爬虫访问也是200（成功）。但是，当我检查“抓取错误”时，几乎每个页面都是“无法访问的”，包括域主页本身。唯一没有出错的页面是附件/文件页面（例如 pdf、xls、jpg 等）。这真的很奇怪。

我的网站是由 Ruby on Rails 并使用 MySQL 数据库创建的。

4

1 回答 1

1

页面是否需要很长时间才能呈现？如果页面响应时间过长，我怀疑 Google 的爬虫会放弃。考虑将 Varnish 放在昂贵且不包含任何用户相关或动态内容的公共页面前面？

于 2011-03-07T07:23:49.873 回答