8

我正在研究 ETL 工具以将平面文件导入数据库并随后导出 xml 文件。

许多工具支持生成代码以在您的应用程序中使用;但是,我还没有发现任何支持在您的应用程序中使用代码。我们的模型很复杂(关系、验证、多态关联、回调等)。

有哪些工具可以重用现有代码?还是我被困在 ETL 工具中重新创建(和维护)我的模型?

注意:我对 ETL(相对于批量插入或 activerecord-import)的要求是转换。我们从 200 多个不同来源以各种格式、完整性和清洁度接收数据。此外,对于将定义转换的技术含量较低的用户来说,最包含的“设计师”更为现实。

4

3 回答 3

6

ActiveWarehouse 可能会被证明是有用的。最初的搜索结果使项目感觉有点陈旧和不复存在。一点点挖掘在 GitHub 上产生了一个相当活跃的、有据可查的项目分支:https ://github.com/activewarehouse/activewarehouse-etl

于 2012-03-05T10:09:17.563 回答
3

写你自己的。ETL 是一个非常简单的过程,ruby 提供了足够的反射支持来用一些简单的代码来处理这个。ETL 工具在这里并没有真正的帮助,只是生成 dotty 文件来显示数据源、流和转换。

我在 smalltalk 中做了同样的数据转换。在那里,我使用了 MOOSE 再工程工具套件中的 glamor 和 mondrian 来提供更多可见性。

于 2012-03-08T11:15:57.873 回答
0

模块化,您希望 Rails 应用程序和 ETL 从同一个地方询问“HND”的含义。为此设置一个 API。

于 2012-03-05T01:03:19.303 回答