当网站被搜索引擎（谷歌、必应等）抓取时，搜索引擎将爬入网站的典型最大深度是多少。通过深度，我的意思是从主页跳数。
谢谢，
问问题
203 次
2 回答
1
这取决于您网站的整体排名，以及传入链接的排名，尤其是当它们没有指向您的主页时。
像 blekko 这样的小型搜索引擎的爬虫不会离外部链接的着陆点那么远，除非您的整体网站很棒或者您有很多来自很棒网站的链接。我们为排名较高的内容节省了爬取和索引的能量，所以如果我们估计一个页面的排名很差，我们不会打扰。
即使您的链接配置文件很差，Google 的爬虫也可能会爬很远 - 但即使他们知道的 URL 比实际爬取的 URL 多 10 倍。
于 2012-07-13T22:19:18.290 回答
0
如果你想爬遍整个世界，那么 19 深度就足够了。因为整个世界覆盖在 19 个深度。但是，如果您想抓取特定域或国家/地区，那么 10 深度就足够了。
我从一篇论文中找到了这个信息。用于开发墨卡托。
感谢 Mohiul Alam 王子
于 2012-07-18T10:19:37.870 回答