indexing - 为什么 Google（或 Googlebot）会索引返回 500 错误的页面？

Question

Googlebot 偶尔会使用错误的查询字符串参数为我们的一个网站编制索引。我不确定它是如何获取此查询字符串参数的（似乎没有任何网站使用错误链接链接到我们，并且我们网站中没有任何内容插入错误值）。如我们所料，bad 参数会导致站点抛出 500 错误。

我的印象是 Google 不会索引返回 500 错误的页面，但事实证明确实如此。所以现在我有两个问题：

1) 为什么 Googlebot 会随机插入错误的查询字符串值？（我并不真正关心这个问题的答案，但如果我们能做些什么来避免这种情况，它就会解决我们的问题。）

2) 为什么谷歌会索引一个返回 500 错误的页面？

以下是 Googlebot 创建且 Google 已编入索引的错误链接之一：

坏参数是 gb=baqhuxts。参数“gb”应为整数。如果您从查询字符串中删除该参数，您应该会看到一个漂亮的目录页面。

关于 nofollow 和 robots.txt 解决方案：[已编辑]

我现在意识到我是个白痴，并放置了一个元标记告诉搜索机器人索引页面。那是一件愚蠢的事情。我正在删除那些。W-(

如果您在 Google 上搜索“baqhuxts”，您会发现它已使用此错误参数索引了 10 个页面。但是这些页面中的每一个都返回 500 错误。有没有人知道为什么谷歌认为这些是有效的索引页面？

score 4 · Accepted Answer

这可能是因为你告诉谷歌通过在你的元标记中添加它来索引它：

<meta name="robots" content="index,follow">

尝试删除它！:)

score 1 · Accepted Answer

不幸的是，我只知道#1 的答案：

谷歌会抓取这样奇怪的页面，因为有谷歌工具栏的人会去到不存在的页面，他们的浏览信息会被传输给谷歌。这就是为什么您经常会发现没有任何业务被索引的页面，例如，没有从任何地方链接到的 phpmyadmin 页面。

2 回答 2