ruby-on-rails - 用于将数据加载到 Rails 应用程序的 ETL 框架

Question

我需要将我的 Rails 应用程序的数据从多个提供程序（基于 REST/SOAP 的 XML 提要）定期加载到数据库中。我编写了一组 Rake 任务，这些任务由每当生成的 cron 作业启动。每个任务都会访问合作伙伴提要端点，解析提要并将其加载到数据库中。

我应该使用 ActiveWarehouse ( http://activewarehouse.rubyforge.org/etl/ ) 之类的 ETL 框架，而不是编写 Rake 任务吗？关于在 Rails 中执行此操作的最佳方法有什么建议吗？

Answer 1

如果您只是将数据加载到一组表中，并且用例很简单，例如只是添加新记录或更新基本记录，并且您的负载满足您的要求，我会坚持下去。您当然也可以使用 ActiveWarehouse，但这听起来有点矫枉过正。但是，如果您需要支持不断变化的维度（即保留数据随时间变化的历史记录）或其他“数据仓库”功能，那么 ActiveWarehouse 之类的东西开始具有更多价值。