在我的网页上,我有 robots.txt,其中我指定了一些我不希望谷歌索引的页面。Chrome 和 Google 工具栏会发送有关我访问过的页面的信息。
我在某处读到谷歌将索引我在 robots.txt 中阻止的网站。真的吗?我在哪里可以阅读更多关于它的信息?
在我的网页上,我有 robots.txt,其中我指定了一些我不希望谷歌索引的页面。Chrome 和 Google 工具栏会发送有关我访问过的页面的信息。
我在某处读到谷歌将索引我在 robots.txt 中阻止的网站。真的吗?我在哪里可以阅读更多关于它的信息?
http://blog.ineedhits.com/tips-advice/why-google-can-index-your-robotstxt-blocked-urls-12346715.html
抓取网站的似乎不是谷歌浏览器或工具栏。问题是在被阻止的网站上存在外部链接。