robots.txt - 为什么当我在 robots.txt 中阻止目录时，它的内容仍然出现？

Question

这就是我在我的中得到的robots.txt，放在基本目录中，当然：

User-Agent: *
Disallow: /foo/

但是，在 Google 中，我没有的索引/foo/，但由于某种原因，我仍然/foo/foo.php在 Google 中显示为链接。

怎么会？我是不是写错了什么？我需要写点别的吗？

score 3 · Accepted Answer

当您robots.txt的网站上线后，Google 已经可以索引/foo/.

您可以通过Google 网站管理员工具- 删除请求删除已编入索引的文件。

删除请求

score 0 · Accepted Answer

robots.txt 不会阻止 Google链接到您被屏蔽的网页。Google 不会索引您被阻止的页面（因此它不会显示页面标题/描述/片段），但如果它找到指向任何被阻止页面的链接，它可能仍会从他们的搜索结果中链接它。

如果您还想禁止这种链接，您可以使用带有and的meta元素。robotsnoindex

2 回答 2