block - 阻止来自 google seacrch 的特定文件类型

Question

我想阻止来自 Google bot 的 XML 文件，但 sitemap.XML 除外。我正在为我的 WordPress 图片库使用 Lazyest Gallery。每个画廊文件夹都有一个包含图像详细信息的 XML 文件。问题是，现在谷歌索引这些 XML 文件而不是画廊。我的站点搜索还显示 XML 文件而不是专辑。将要

Disallow: /*/*.xml$

工作？

我通过添加排除了提要

Disallow: /*/rss/$

到我的 robots.txt

Answer 1

要阻止某种类型的所有文件，最简单的方法是：

Disallow: /*.xml$
Disallow: /*.XML$

Robots.txt 区分大小写，因此这两个条目（如果您知道它们都是一个大小写，则可以省略 1）。现在要确保我们没有阻止 sitemap.xml，我们需要先允许它：

Allow: /sitemap.xml
Disallow: /*.xml$
Disallow: /*.XML$

robots.txt 中还有一个站点地图指令来引用站点地图的位置，因此我们也可以添加它：

Allow: /sitemap.xml
Disallow: /*.xml$
Disallow: /*.XML$

Sitemap: http://example.com/sitemap.xml