video - Nutch 可以抓取视频网站吗？

Question

是否可以使用 Nutch 抓取仅包含视频文件的网站？感谢对此的任何见解。

Answer 1

是的，可以使用自定义插件来解析和索引过滤器。而且，在抓取之前网站上是否有任何视频也是未知的。因此，您需要手动输入域列表进行爬取或执行一些算法来生成种子域，以进行有效的爬取。