我在这个大网站上工作，我想在它完全完成之前把它放到网上......
我在本地工作，数据库变得非常大，所以我想上传网站并继续在服务器上处理它，但允许人们进入，所以我可以测试。
问题是这是否对 SEO 有好处，我的意思是，有很多与 SEO 相关的东西是不完整的。例如：没有友好的 URL，没有站点地图，没有 .htacces 文件，很多“在建”部分...
谷歌会永远惩罚我吗？它是如何工作的？谷歌索引和获取网站的结构一次，还是不断更新和检查变化？在 robots.txt 中使用会User-agent: * Disallow:完全阻止 Google 对其编制索引吗？我可以稍后更改 robots.txt 文件并让 Google 再次对其编制索引吗？你推荐什么dp？
当然，只需将 robots.txt 文件放在您的根目录中，这样您就可以确保 google 不会开始对其进行索引。
像这样：
User-agent: *
Disallow: /
这就是我对这个问题的理解：
如果有人提交了您的网站 URL http://www.google.com/addurl/或在另一个已编入索引的网站中存在指向您网站的链接，Google 将访问您的网站。
当 google 访问您的网站时，它会查看 robots.txt 并查看那里的规则，如果您不允许使用如下代码进行索引，则 google 目前不会为您的网站编制索引。
User-agent: *
Disallow: /
但是谷歌可能会在几天后再次访问您的网站，并且会与第一次一样，如果您没有找到 robots.txt 或发现您设置了允许他们使用代码索引网站的规则，例如接下来，他们将开始索引网站页面和内容。
User-agent: *
Allow: /
关于从现在开始网站上线与否？如果您不允许使用 robots.txt 进行 google 索引，则没有区别，选择哪个更适合您。
注意：我不确定 100% 我在这个答案中提到的规则，因为谷歌总是改变他们的索引技术。
我对谷歌的评价对于其他搜索引擎（如雅虎和必应）也是一样的，但这不是任何搜索引擎的规则，它只是一种常见的方式，所以当你有机器人时，其他搜索引擎可能会索引你的所有网站链接.txt 不允许索引。
我曾经从我的网站上放一个舞台版本来测试现场环境，然后再进行现实生活版本，并且曾经使用 robots.txt，但我从未在谷歌、必应或雅虎中找到任何这些舞台链接。
只要您的安全性不是测试版质量，尽早让您的网站上线是一个好主意。
Google 会定期为您的网站编制索引，并且会在检测到更频繁的更改和/或您的页面排名增加时更频繁地编制索引。