web-crawler - robots.txt - 它是否适用于已删除的页面？

Question

我一直在使用我的 robots.txt 文件来排除某些网页被抓取并在我的网站上找到。

我发现有几个旧页面（现在从服务器中删除）仍然可以通过搜索引擎找到。

问）我需要在服务器上重新创建页面，以便可以使用 robots.txt 吗？

Answer 1

不，您无需重新创建页面即可在 robots.txt 中提及它。也就是说，您可以拥有：

User-Agent: *
Disallow: /foo/bar.html

/foo/bar.html 是否真的存在并不重要。礼貌机器人不会尝试访问该页面。

请注意，如果浏览器从搜索引擎获得链接，它不会阻止浏览器尝试访问该页面。

从搜索引擎的索引中删除旧页面是一个更困难的问题。如果他们重新抓取您的网站，那么他们可能会用您的新布局替换他们的快照，并且该页面将不再出现。但是，如果他们从其他站点找到指向您旧页面的链接，他们可能仍会在其索引中列出已删除的页面。这取决于搜索引擎。

对于较大的搜索引擎，您可以提交删除请求。如何完成取决于各个站点。