1

在我的网页上,我有 robots.txt,其中我指定了一些我不希望谷歌索引的页面。Chrome 和 Google 工具栏会发送有关我访问过的页面的信息。

我在某处读到谷歌将索引我在 robots.txt 中阻止的网站。真的吗?我在哪里可以阅读更多关于它的信息?

4

1 回答 1

0

http://blog.ineedhits.com/tips-advice/why-google-can-index-your-robotstxt-blocked-urls-12346715.html

抓取网站的似乎不是谷歌浏览器或工具栏。问题是在被阻止的网站上存在外部链接。

于 2012-05-08T06:56:04.413 回答