在做网站的第一天,我在一些链接的生成中犯了错误;跟随它们输出数据库错误。
Google bot 已尝试跟踪这些链接,现在它们在网站管理员工具中显示为抓取错误。虽然我已经纠正了错误,但谷歌仍然试图抓取它们。
如何告诉谷歌这样的链接不再存在并且它们不会通向哪里?我不能做一个 301 重定向,因为它会说链接是有效的并且可以索引它们。
在做网站的第一天,我在一些链接的生成中犯了错误;跟随它们输出数据库错误。
Google bot 已尝试跟踪这些链接,现在它们在网站管理员工具中显示为抓取错误。虽然我已经纠正了错误,但谷歌仍然试图抓取它们。
如何告诉谷歌这样的链接不再存在并且它们不会通向哪里?我不能做一个 301 重定向,因为它会说链接是有效的并且可以索引它们。
如果页面在没有逻辑替换的情况下消失了,那么您通常应该返回一个404
错误,但在这种情况下,我会考虑返回410 Gone
- 这表明该页面已被永久删除,永远不会返回,应该从谷歌索引中清除。
可能值得为有问题的 url 查找现有代码库,以确保没有链接到它们。
至于301的301不代表链接有效,301是永久移动的。这告诉谷歌它曾经在这里寻找的页面现在生活在其他地方,并将谷歌引导到新位置。从事物的声音来看不适用于您的情况,但与您描述的方式略有不同。
有关详细信息,请参阅http://en.wikipedia.org/wiki/List_of_HTTP_status_codes
我会在你的 robots.txt 中标记它们