stormcrawler - 限制 Stormcrawler 中的水平深度（页面发现的外链数量）

Question

我正在使用stormcrawler，我想知道是否有限制页面发现的外链数量。我看起来像db.max.outlinks.per.page Nutch 的东西。提前致谢

Answer 1

目前还没有，但这可以很容易地添加到JSoupParserBolt和 Tika 等价物中。随意在 GitHub 上打开一个问题。