google-chrome - 如何排除某些路径被爬网/索引？

Question

我的网站上有以下 url 结构：

用户帐户：

http://www.mydomain.com/username

用户我包含以下项目：

http://www.mydomain.com/username/item/itemId

我必须在我的 robots.txt 中设置什么用户帐户不会被索引并且所有项目都将被索引？

Answer 1

实际上，我认为 robots.txt 不可能做到这一点。Google 的通配符支持可能不支持 if username, item, anditem-id可以是任意字符串。您必须username至少指定每个 。

查看 Google 的Robots.txt 规范页面。可能还有其他一些方法可以做你想做的事。