0

站点地图是否需要覆盖整个站点?

如果我有一个指向网站上所有最重要视图的站点地图链接,我应该期望该网站上的所有第一个子页面都应该在没有明确定义的情况下被抓取,对吗?

4

1 回答 1

0

您可能希望站点地图上的页面链接到的所有 URL 都被抓取,但我仍然建议将它们包含在站点地图中,因为它提供了元数据。请记住,页面在站点地图中的位置并不重要。如果您有很多页面并且想自己整理一些东西,您可以将地图拆分为多个文件priority否则,最明智的做法可能是让爬虫使用该属性来确定哪些页面更重要。

于 2012-04-04T02:05:09.983 回答