在这个网页中：
http://www.alvolante.it/news/pompe_benzina_%E2%80%9Ctruccate%E2%80%9D_autostrada-308391044
有这张图片：
如果 robots.txt 中有“Disallow: /sites/”，为什么这个图片会被索引？？
您可以看到从这个搜索索引：
问问题
192 次
3 回答
1
由于域名不同（实际上是一个域和一个子域）：页面来自http://www.alvolante.it，图片来自http://immagini.alvolante.it。
Robots.txt 仅在 www 域中。如果该文件也在http://immagini.alvolante.it/中，Google 不会为该图像编制索引。
尝试访问http://immagini.alvolante.it/sites和http://www.alvolante.it/sites，你会看到不同的页面。
于 2010-10-05T15:01:58.433 回答
0
您是否已禁止所有机器人，或者此规则仅适用于 Googlebot？如果是后者，您需要确保还包含“Googlebot-Image”用户代理的规则。
于 2010-10-05T11:03:58.683 回答
0
使用 google WebMaster Tools，您可以测试您的 robots.txt。
于 2010-10-05T10:24:50.790 回答