6

谷歌或任何其他爬虫是否可以爬取和索引返回 301 状态代码的页面？

我在谷歌上看到过一个页面，它已经有几个月的 301 了。但是，索引中该页面的缓存日期是几天前的。

谷歌可以忽略 301 并抓取页面的内容吗？

4

5 回答 5

6

通常，Google 会抓取重定向到的页面。您看到的网站有两种可能的解释：

  • 该站点仅显示 301 消息，而不是正确返回 HTTP 标头。
  • 该站点重定向到另一个 301，它重定向到另一个 301，...

在 Youtube 上观看此视频。

于 2013-10-27T22:15:12.773 回答
3

Google 总是抓取重定向的目标，HTTP 301 也不例外。不过，找不到比一位员工的讨论帖更好的来源。Google Search Appliance 文档也这么说，我不明白为什么 GSA 和 GoogleBot 应该以不同的方式处理重定向。

于 2013-10-28T21:37:23.420 回答
2

您可以使用谷歌站长工具： https ://www.google.com/webmasters/tools/home

有一个机器人分析工具，您可以在其中测试您的域 url，并亲自查看是否正在抓取 301 重定向页面；）

于 2013-10-31T16:30:28.747 回答
2

无论您返回什么响应代码，Google 都会永远访问 URL。他们这样做是为了以防万一 URL 以真实内容恢复活力。

301是最好的回应。谷歌最终会从 SERP 中删除这些 URL。除非您希望在接下来的 3 到 6 个月内访问您的网站的访问者减少，否则不要强行快速下降。

于 2013-10-28T16:09:40.960 回答
2

根据网络垃圾邮件团队负责人马特·卡茨（Matt Cutts）的说法，人们使用 301 滥用排名，将一堆域名转发给一个新域名，因此谷歌改进了他们处理 301 页面的方式。假设您移至新域，并将旧域中的所有页面 301d 到新域上的相应页面。在这种情况下，谷歌最终会从索引中淘汰旧域并引入新域。

您所说的很少见，如果您对此感到担心，可以通过 Google 网站管理员论坛让 Google 知道。一旦引起某人的注意，他们就会很快处理这种事情。但是，可能是页面最终删除 301 然后重新打开的原因。或者可能是 301 没有显示给 Google Bot。

于 2013-10-31T06:18:21.380 回答