在这个网页中:
http://www.alvolante.it/news/pompe_benzina_%E2%80%9Ctruccate%E2%80%9D_autostrada-308391044
有这张图片:
如果 robots.txt 中有“Disallow: /sites/”,为什么这个图片会被索引??
您可以看到从这个搜索索引:
在这个网页中:
http://www.alvolante.it/news/pompe_benzina_%E2%80%9Ctruccate%E2%80%9D_autostrada-308391044
有这张图片:
如果 robots.txt 中有“Disallow: /sites/”,为什么这个图片会被索引??
您可以看到从这个搜索索引:
由于域名不同(实际上是一个域和一个子域):页面来自http://www.alvolante.it,图片来自http://immagini.alvolante.it。
Robots.txt 仅在 www 域中。如果该文件也在http://immagini.alvolante.it/中,Google 不会为该图像编制索引。
尝试访问http://immagini.alvolante.it/sites和http://www.alvolante.it/sites,你会看到不同的页面。
您是否已禁止所有机器人,或者此规则仅适用于 Googlebot?如果是后者,您需要确保还包含“Googlebot-Image”用户代理的规则。
使用 google WebMaster Tools,您可以测试您的 robots.txt。