nutch - 深度的影响，在 nutch 爬行中的 topn

Question

我一直想知道深度和topn对于nutch爬行有什么影响？例如，假设深度为 100，topn 为 10000 确保完全爬网，将深度更改为 1000 会影响爬网所需的时间吗？那么爬一个陌生的网站，给个任意大的depth和topn就可以了吗？

谢谢您的帮助，

阿南特。

Answer 1

depth 是从根开始的跳数，topn 是每个级别中要获取的最大链接。因此，通过增加深度，AFAIK 肯定会增加爬行所需的时间。将深度从 100 更改为 1000 应该会大大增加爬行时间。