nutch - nutch 爬虫：db_unfetched 一个大数并且没有进行抓取

Question

我正在使用 nutch 从某个域的维基百科中抓取和下载内容。在日志中，我看到获取了大约 3000 个 url 但是当我查看统计数据时，db_fetched 仅为 81，而 db_unfetched 为 ~2900。在日志中，下载时没有发生异常，但不知何故，网址没有下载到我的电脑上。我已将 topN 设置为 50000，将深度设置为 50。