web-crawler - 如何告诉 Google 不要抓取一组网址

Question

如何阻止谷歌抓取我的应用程序中的某些网址？

例如：我希望 google 停止抓取所有以http://www.myhost-test.com/

我应该在我的 robots.txt 中添加什么？

Answer 1

答案可以直接在这里找到：

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

但看起来您添加了“禁止”和您的网址。