http-status-code-301 - 漫游器和 301 重定向

Question

6 个多月前，我更改了我网站的 URL 结构。我检测到旧 URL 的使用并使用 301 状态代码重定向到新 URL。我用 flidder 验证了状态码是根据请求正确返回的。但机器人（yahoo slurps、googlebot 等）仍在访问旧 URL。有什么我想念的吗？

Answer 1

不，只是爬虫需要非常非常长的时间才能收到消息。我有机器人抓取自 2005 年以来不存在的地址 - 当人们一直在使用永久地址时，它们确实是。

此外，根据您的 URL 的结构，您可以使用 robots.txt 禁止旧地址

Answer 2

试试这个，这只会重定向到机器人。

if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) {
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://www.your-main-site.com/");
    exit;
}

Answer 3

如果外部站点已链接到您的旧页面，并且机器人仍然可以访问这些链接，那么机器人将继续访问并尝试访问内容。

Answer 4

在这里提到了您的网站地址：

http://www.your-main-site.com/

那是我们用来转移域和有时用于黑帽 seo。