web-crawler - 如何在 StormCrawler 中使用快速 url 过滤器？

Question

我遇到了快速的 url 过滤器。它提供了几个选项，例如将过滤器应用于特定域。有人可以详细了解它的用法以及如何在 url filters.json 中配置它吗？

Answer 1

过滤器可以像任何其他过滤器一样在urlfilters.json中配置，即

 {
  "class": "com.digitalpebble.stormcrawler.filtering.regex.FastURLFilter",
  "name": "FastURLFilter",
  "params": {
    "file": "fast.urlfilter.json"
  }
}

file 参数是可选的，默认采用上面给出的值。

有关详细信息，请参阅JAVADOC、BLOG和WIKI。