我想使用 Open Search Server http://www.open-search-server.com/在生产级别创建网络搜索引擎。有没有其他好的免费软件来创建搜索引擎?我想抓取数百万个网站。
问问题
1653 次
2 回答
4
(披露:本文作者隶属于本文提及的网站/产品)
OpenSearchServer 基于 Lucene。此外,它还包含一个强大的网络爬虫,能够索引数百万个页面。我是这个软件的创始人。我在索引数千个网站的项目中使用它。
然而,索引数百万个网站是另一回事。您需要将爬网分布在多个服务器上以构建分布式索引。
然后,您使用另一个服务器池来处理来自用户的搜索请求。可以使用多个 OpenSearchServer 实例来做到这一点。
无论您选择什么软件,都必须谨慎选择硬件,尤其是存储部分。在大索引上,搜索查询的性能与存储的性能有关。欢迎使用大型 RAID 池或 SSD 磁盘。
于 2012-04-06T14:49:59.483 回答