seo - 防止谷歌索引动态错误页面（无 404）

Question

我的网站上有一些404无错误页面。阻止谷歌索引它们的最佳方法是什么？

选项1

header("HTTP/1.0 410 Gone");

如果内容没有消失怎么办？例如：the article does not exist.或wrong parameter has been caught

选项 2

<meta name="robots" content="noindex" />

它只影响一页还是整个域？

选项 3

使用 404 会产生一些其他问题，我想避免。

机器人.txt

此选项将不起作用，因为错误将取决于数据库并且不是静态的。

Answer 1

如果内容被删除，最佳做法是对您网站上的类似内容进行 301 重定向。

要停止 Google 将您网站的某些区域编入索引，请使用robots.txt

更新：如果您发送200 OK并添加机器人元标记（您的问题中的选项 2） - 这应该可以满足您的需求。

Answer 2

防止谷歌机器人索引某些内容的一种方法是使用机器人文件：

User-agent: googlebot
Disallow: /mypage.html
Disallow: /mp3/

这样，您可以手动禁用单个页面或整个目录。