我正在建立一个网站,听说如果该网站在搜索引擎上列出,它可能会得到坏名声,并且很难在这些搜索引擎中提升它的排名。
我想知道,我怎样才能让我的网站在我完成之前不被搜索引擎列出。
任何帮助,将不胜感激。
谢谢。
最明显的是:不要在任何地方链接它。
另外:http://www.robotstxt.org/,特别是http://www.robotstxt.org/faq/prevent.html
正如他们所说,请注意这robots.txt
只是一个建议。谷歌会注意它,但垃圾邮件机器人不会。
谷歌搜索 robots.txt。这是所有主要搜索引擎都支持的标准,允许您请求网络爬虫忽略您网站的部分或全部内容。
你需要在它完成之前在互联网上提供它吗?为什么不保持本地化?