我打算建立一个服务，提供特定网站中特定网页的摘要内容。
因此，我不再依赖 Google 或 Bing API（这需要花钱），而是考虑寻找可以完成这项工作的网络爬虫和搜索引擎。我只需要小规模的，例如 Apache Nutch 对这个项目来说太大了。
理想的解决方案是一个可嵌入的库，它可以获取网站列表、获取其内容并将它们保存在数据库中以供以后搜索。有什么建议么？
问问题
497 次
2 回答
1
你的意思是你打算建立一个总结网络内容的服务？以下是一些可用于执行此操作的 API：
- https://www.mashape.com/stremor/stremor-automated-summary-and-abstract-generator
- https://www.mashape.com/stremor/stremor-search-results
- https://www.mashape.com/stremor/stremor-tldr-for-text-abstract-generator
- https://www.mashape.com/mlanalyzer/ml-analyzer
- https://www.mashape.com/tommoor/pagemunch
还有一些我自己的：
最后两个是基于这个关于如何创建自己的摘要器的优秀教程 - http://thetokenizer.com/2013/04/28/build-your-own-summary-tool/
于 2013-06-20T20:47:48.910 回答
1
爬虫和索引器通常是两个独立的组件。
- 对于抓取，您可以使用 crawler4j 看看https://code.google.com/p/crawler4j/。这很简单，但我认为它涵盖了您正在寻找的一些功能。您可能需要使用 JDBC 调用来保存结果，但它会为您很好地进行爬网。
- 对于索引，您可以使用 lucene 看看http://lucene.apache.org/core/。
我还建议您看看西北大学，它比我能更好地描述这种方式......所以这里是你的链接
于 2013-06-20T21:00:32.350 回答