4

在 Google 网站管理员工具中，在抓取错误下，我的第一个 404 错误称为

www.domain.com/a

我的网站上没有这样的东西，也没有指向它的链接。什么是错的，是什么意思？在站点日志中，没有关于指向 /a 的 404 错误的错误。W3C 检查器说没有错误。我能做些什么？

4

3 回答 3

3

不是你，它必须是 Googlebot。（这些都与 php 无关；也许有人可以删除 php 标签。）

我的谷歌网站管理员工具中有八个网站，两个完全不相关的网站显示同样的内容。显示此问题的网站均未使用 PHP。

我唯一能想到的是谷歌的机器人错误地解析了 HTML 并以某种方式将结束的“a”标签附加到根 URL 上。听起来很愚蠢，但它是唯一可以解释这个问题的多个不相关实例的东西。

有没有人在谷歌论坛上发起过这个话题？

我不确定这会对根本问题产生什么影响，但我把它放在我的 htaccess 文件中，希望能清除错误的 404 错误。（编辑： 这是谷歌推荐的解决方案。）

Redirect 301   /a   http://www.mysite.com

编辑：

向 Google 帮助论坛报告：

http://www.google.com/support/forum

编辑2：

两个站点都在 W3C 上进行验证，并且都不使用 PHP。

编辑 3：

"/a" 来自 jQuery v1.5.2 内部。这是根本原因。

在 jQuery 本身中就是这条线......

<a href='/a' style='color:red;float:left;opacity:.55;'>a</a>

编辑4：

使用 robots.txt 文件阻止它。（根据谷歌的说法，这只会将网站管理员工具抓取错误从“404”更改为“被 robots.txt 阻止”）

Disallow:  /a/
Disallow:  /a

编辑 5：

以下是 Google 员工 JohnMu 在我在 Google Groups 开始的主题中对此问题的回应。看来我还是会坚持使用 301。

约翰穆

谷歌员工

凌晨 4 点 39 分

嗨，大家好

对此只是一个简短的说明——是的，我们正在为许多来自 jQuery JavaScript 的站点选择“/a”链接。但是，这通常不是问题，如果我们将“/a”视为 404，那么这对我们来说没问题。与其他 404-URL 一样，我们会将其列为网站管理员工具中的抓取错误，但同样，这不会成为抓取、索引或排名的问题。如果您想确保它不会在网站管理员工具中触发抓取错误，那么我建议您仅将该 URL 301 重定向到您的主页（禁止该 URL 也会将其作为抓取错误 - 它将被列为robots.txt 不允许的 URL）。

我还建议不要明确禁止抓取 jQuery 文件。虽然我们通常不会自行为其编制索引，但我们可能需要访问它才能为您的网站生成良好的即时预览。

所以总结一下：如果您在网站管理员工具的抓取错误中看到“/a”，您可以就这样离开它，它不会造成任何问题。如果您想将其删除，您可以执行 301 重定向到您的主页。

干杯

约翰

于 2011-04-21T18:35:30.120 回答
1

检查您的 Apache 错误日志。或者安装一个小的 PHP 文件来保存$_SERVER["HTTP_REFERER"]类似的内容：

<?php

$f = fopen("logfile.txt", "a");
fwrite ($_SERVER["HTTP_REFERER"] . "\n");
fclose ($f);

然后创建一个.htaccess文件以将对 /a 的调用重定向到此 PHP：

Options FollowSymLinks
RewriteEngine On
RewriteRule ^a$ somthing.php

或者，您可以将 PHP 保存在 name 上/a/index.php，这样您就不需要重定向。

于 2011-03-24T11:50:07.847 回答
1

从您的网站管理员工具帐户执行 301 重定向或以其他方式执行 URL 删除请求。

GWT-->站点配置-->爬取访问--> URL删除请求

于 2011-06-14T06:12:57.467 回答