.htaccess - 更新有关目录结构更改的爬虫信息

Question

在我们的旧网站上，我们有一些已被弃用的目录。我担心404s 的涌入会损害我们的排名。

例如，曾经www.mysite.com/intranet/在我们的服务器上不再存在的内容，但谷歌（我猜）正在更新该文件夹的旧记录并返回404s. （我们使用插件404通过 rss 报告 s）

我看到的选项是：

1. 通过重定向这些网址.htaccess
2. 禁止通过robots.txt（令人困惑，因为没有这样的目录）
3. 通过网站管理员工具删除目录（可能不推荐这样做的原因）

如果有人能提供一些关于如何让谷歌不认为这些目录仍然是网站的一部分的见解，我将不胜感激。

Answer 1

您应该更新站点地图并将其发送到搜索引擎，这是重要的第一步。

除了站点地图，如果您将这些资源移动到新结构中的新位置，则使用301 重定向。如果它们只是消失了，不管是什么原因，然后使用410 状态通知爬虫它们不再可用。

正如您提到的那样，无需触摸 robots.txt 文件，因为这对于网站的真实结构是不正确的。