我正在用 Java 开发一个网络爬虫。我正在寻找一个好的项目来开发基于它的爬虫。然而，实际上有超过几百个用 Java 编写的爬虫。我正在寻找的是一个相当简单的爬虫，它具有：
- 多线程功能
- 很棒的表演
- 基于最新的 Java 构建和新技术实现
- 一个很好的文档
- 没有很多不必要的功能（膨胀）
- 能够轻松集成到我的项目中
问问题
677 次
1 回答
2
我正在寻找的是一个相当简单的爬虫......
你不会真的发现，爬虫没有什么简单的！案例和要点，拥有这些功能并不简单（尤其是最后一个要点）：
- 多线程功能
- 很棒的表演
- 基于最新的 Java 构建和新技术实现
- 一个很好的文档
- 没有很多不必要的功能（膨胀）
- 能够轻松集成到我的项目中
Nutch 是一个功能齐全的 Java 爬虫，可以满足您的大部分需求： http: //nutch.apache.org/
此外，我建议您查看这个问题：https ://stackoverflow.com/questions/2495289/what-is-a-good-java-web-crawler-library
于 2012-04-17T20:39:34.300 回答