我一直在使用谷歌搜索,但我找不到这个问题的答案。
robots.txt 文件可以包含以下行:
Sitemap: http://www.mysite.com/sitemapindex.xml
但是是否可以在 robots.txt 中指定多个站点地图索引文件并让搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图?例如,这是否有效:
Sitemap: http://www.mysite.com/sitemapindex1.xml
Sitemap: http://www.mysite.com/sitemapindex2.xml
Sitemap: http://www.mysite.com/sitemapindex3.xml