我有一个非常复杂的站点地图设置,用于具有数万个链接的站点。因此,它被划分为多个 xml 文件,但是我的雇主还要求将站点地图组织在索引下,以便它们反映站点的交互流。例如,我的网站将有一个页面 url,如:
其中 page1 有数千个子页面。所以我所做的是我专门为 page1 下的链接创建了一个名为 page1-index.xml 的索引,并且需要在https://www.example.com/page1/page1-index.xml下可以访问。由于有数千个链接,它们也被分成多个类别,每个类别都是在 page1-index.xml 中链接的自己的站点地图。
所以我得到的是 https://www.example.com/page1/page1-index.xml 的索引,以及在该 xml 中链接为https://www.example.com/page1/page1的数百个站点地图-category-n-sitemap.xml。
所有站点地图文件都位于公共文件夹的子文件夹中,其中有一棵反映站点地图的树,因此 page1-index.xml 位于 public/sitemaps/page1/page1-index.xml 中,因此我的 App.tsx 中的单个路由可以涵盖所有站点地图。我主要困惑的地方是我应该如何在路由器中返回这些 xml。我有数千个站点地图,因此将每个站点单独提交给搜索引擎对我来说是不切实际的。如果我提交索引,那么爬虫需要能够访问各个站点地图,这就是我不确定如何设置它的地方。当爬虫访问索引中的链接时,我应该如何设置一个或多个路由以返回 xml 文件?