ruby - Ruby 网络蜘蛛和搜索引擎库

Question

我正在寻找一个 Ruby 库或 gem（或一组 gem），它不仅可以进行爬虫，还可以将数据收集到例如数据库中，并允许对数据进行基本搜索（即典型的网络搜索）。

我已经找到了几个爬虫库，所以这部分似乎覆盖得很好（我打算先尝试 Anemone），但我找不到任何可以获取爬虫数据并允许对其进行查询的东西。由于缺乏现有的，我打算自己用 Anemone 写一些东西。

有什么建议么？

score 1 · Accepted Answer

1

有一个 ruby gem 可以帮助你： http ://spidr.rubyforge.org/

于 2011-09-27T01:48:58.857 回答

score 1 · Accepted Answer

1

那篇博文可能会给你一些指导。另外，请查看雪貂的搜索部分。

于 2009-11-25T02:11:27.460 回答

score 0 · Accepted Answer

0

github.com 上有很多很棒的东西

于 2009-11-25T09:52:57.757 回答

3 回答 3