robots.txt - 如何使用 robots.txt 禁用 sitemap.xml

Question

我的网站有一个自定义 robots.txt。我有兴趣禁止 sitemap.xml，所以我的问题是：写下是否足够：

Disallow: /sitemap.xml ?

Answer 1

这个 robots.txt

User-agent: *
Disallow: /sitemap.xml

允许所有机器人抓取您主机上的所有内容，除了路径以/sitemap.xml. 因此，例如，这些 URL 不应被抓取：

• http://example.com/sitemap.xml
• http://example.com/sitemap.xml.tar.gz
• http://example.com/sitemap.xml/
• http://example.com/sitemap.xml/foo

因此，如果您的站点地图位于http://example.com/sitemap.xml，则符合要求的机器人不会抓取它。