1

我想使用 Open Search Server http://www.open-search-server.com/在生产级别创建网络搜索引擎。有没有其他好的免费软件来创建搜索引擎？我想抓取数百万个网站。

4

2 回答 2

4

（披露：本文作者隶属于本文提及的网站/产品）

OpenSearchServer 基于 Lucene。此外，它还包含一个强大的网络爬虫，能够索引数百万个页面。我是这个软件的创始人。我在索引数千个网站的项目中使用它。

然而，索引数百万个网站是另一回事。您需要将爬网分布在多个服务器上以构建分布式索引。

然后，您使用另一个服务器池来处理来自用户的搜索请求。可以使用多个 OpenSearchServer 实例来做到这一点。

无论您选择什么软件，都必须谨慎选择硬件，尤其是存储部分。在大索引上，搜索查询的性能与存储的性能有关。欢迎使用大型 RAID 池或 SSD 磁盘。

于 2012-04-06T14:49:59.483 回答
0

最流行的搜索引擎开源软件是nutch和lucence。Nutch 是网页爬虫，这里是主页

Lucence是一个索引服务器，这里是主页

您可以使用这两个软件来构建搜索引擎

于 2012-04-06T13:31:17.477 回答