我正在寻找一个 Ruby 库或 gem(或一组 gem),它不仅可以进行爬虫,还可以将数据收集到例如数据库中,并允许对数据进行基本搜索(即典型的网络搜索)。
我已经找到了几个爬虫库,所以这部分似乎覆盖得很好(我打算先尝试 Anemone),但我找不到任何可以获取爬虫数据并允许对其进行查询的东西。由于缺乏现有的,我打算自己用 Anemone 写一些东西。
有什么建议么?
我正在寻找一个 Ruby 库或 gem(或一组 gem),它不仅可以进行爬虫,还可以将数据收集到例如数据库中,并允许对数据进行基本搜索(即典型的网络搜索)。
我已经找到了几个爬虫库,所以这部分似乎覆盖得很好(我打算先尝试 Anemone),但我找不到任何可以获取爬虫数据并允许对其进行查询的东西。由于缺乏现有的,我打算自己用 Anemone 写一些东西。
有什么建议么?
有一个 ruby gem 可以帮助你: http ://spidr.rubyforge.org/
github.com 上有很多很棒的东西