如何构建我的 Web 开发环境，以便搜索引擎不会索引我的项目？
我正在为不同的客户开发多个项目，每个客户的站点位于 www.mydomain.com/webdev/des1、www.mydomain.com/webdev/des2、www.mydomain.com/webdev/des3 等。
我以这种方式构建它，但是我今天去谷歌并意识到它一直在索引客户的网站，这些网站正在开发中，因此还没有准备好启动。
我该怎么做才能从谷歌搜索结果中删除这些网站，直到它们完成，以及如何构建我的开发环境以使其将来不会发生？很抱歉在这里提出 2 个问题，但我真的需要从犯过同样错误的人那里得到紧急建议。
# Disallow access for all robots on all pages
User-agent: *
Disallow: /
但正如已经说过的那样，它只会阻止机器人，并且只会阻止那些遵守 robots.txt 协议的机器人。即使你用这个阻止了谷歌机器人，你的 URL 仍然可能在搜索引擎中被索引，尽管在片段中不会看到标题或描述。但是，正如已经建议的那样，您应该使用某种密码保护。
如何构建我的 Web 开发环境，以便搜索引擎不会索引我的项目？
通过不允许公共（匿名/访客）访问。
在您的情况下，您已经启动了这些网站。现在您可以尝试联系 google，以便他们再次将其从索引中删除。他们还将告诉您将来如何防止这种情况发生。这是他们帮助页面的一部分。寻找网站管理员资源。
我知道这不是理想的解决方法，但为了使网站无法访问，我使用了一个不允许人们访问该网站的插件。在我为当前和未来的项目重构我的 Web 开发环境之前，我将使用这种方法。感谢大家的帮助和建议