indexing - 阻止谷歌从网站索引某些页面

Question

我在一个站点上有很多 404 错误的问题。我发现这些错误正在发生，因为谷歌试图找到不再存在的页面。现在我需要告诉谷歌不要再索引这些页面了。

我在网上找到了一些关于使用 robots.txt 文件的解决方案。但这不是我建立的网站。我只需要修复这些错误。问题是，这些页面已生成。它们实际上并不以那种形式存在。所以我不能在php代码中添加任何东西。而且我不太确定如何将它们添加到robot.txt。

当我只是写： *用户代理：* noindex：/objekten/anzeigen/haus_antea/5-0000001575*

并点击网站管理员工具中的测试按钮

我从 Googlebot 得到这个： 允许检测为目录；特定文件可能有不同的限制

我不知道那是什么意思。

我是这种东西的新手，所以请尽可能简单地写下你的答案。

抱歉英语不好。

Answer 1

我认为 Google 会自动从其索引中删除此类返回 404 错误的页面。Google 不会在结果中显示这些页面。所以你不需要关心这个。

只要确保这些页面没有从其他页面链接。如果是这样，Google 可能会不时尝试将它们编入索引。在这种情况下，您应该返回 301 错误（永久移动）并重定向到正确的 url。Google 将遵循 301 错误并改用重定向的 url。

仅当您要删除搜索结果中已经存在的页面时，才需要使用 Robots.txt。但我认为错误代码为 404 的页面无论如何都不会显示在那里。