search-engine - 谷歌还是索引了我的域名？

Question

我有一个如下所示的 robots.txt，但 Google 仍然为我的域编制了索引。基本上他们已经索引了 mydomain.com 但没有索引 mydomain.com/any_page

UserAgent: *
Disallow: /

/我的意思是我怎么能比我认为的域的根源更进一步？

请注意，此域是一项正在进行中的工作，因此我不希望 Google 或任何其他搜索引擎看到它一分钟。

Answer 1

如果您还没有，请获取一个Google 网站管理员工具帐户。它包括一个可能适合您的 URL 删除工具。

当然，这并不能解决搜索引擎可能忽略或误解您的 robots.txt 文件的问题。

如果您真的希望您的网站在启动之前一直处于停播状态，那么您最好的选择是真正将其停播。使网站无法访问，除非通过密码。如果您将HTTP Basic 身份验证放在 documentroot 上，则没有搜索引擎能够索引任何内容，但您将拥有密码的完全访问权限。