7

首先是一些背景;我们正在开发一个数据仓库,并对用于 ETL 流程的工具进行一些研究。该团队非常以开发人员为中心,每个人都精通 C#。到目前为止,我已经看过 RhinoETL、Pentaho (Kettle)、Astrix Centerprise。SSIS 退出的原因有很多,这些原因超出了这个问题的范围。

目前,我倾向于像 RhinoETL 这样更面向开发人员的东西,因为它似乎是一组开发人员阻力最小的路径。其他更多面向视觉设计师的产品是否带来了 RhinoETL 没有的东西?在评估这些 ETL 工具时,我应该注意哪些具体事项?还有其他我们应该研究的工具吗?

4

2 回答 2

3

最近我和我的同事在 RhinoETL 和 SSIS 之间做了一些简单的性能测试。对于简单的数据流,SSIS 似乎总是优于 RhinoETL(移动 2,000,000 条记录的速度大约快 30%)。如果您使用源代码控制(在我们的例子中是 TFS),您将无法轻松查看 dtsx 文件(SSIS 文件)版本之间的差异,使用 RhinoETL 进行开发可以让您利用 TFS 功能。

如果您在数据仓库之上开发用户界面,则可以看到 RhinoETL 的另一个优势。您可以在这两个程序之间共享代码。

尽管我们 SSIS 团队的一些成员来自 .Net 背景,但我们的管理层决定继续使用 SSIS 进行开发(尽管他们已升级到 SSIS 2008——完全是另一个主题),因为他们觉得让开发人员学习 SSIS 比学习 .网。

于 2011-10-25T21:30:12.703 回答
3

我知道这是一个迟到的答案,但由于我需要一个具有所有 SSIS 功能但在 100% .net 环境中的适当 Elt,所以我想出了自己的开发。

当然,性能不如 SSIS。我相信,如果你想要海量性能的海量集成和转换,你仍然应该使用 SSIS。

我真正需要的主要是 RhinoEtl 等其他 kinda-etl 工具没有提供的,它是一个适当的跟踪系统,它允许跟踪任何单个细节,如果需要,可以轻松操作以记录。我为文件系统、ftp、sftp、xml、csv、entityframework 核心和批量加载做了很多开箱即用的适配器。我什至想出了一个可视化工具来查看转换过程的结构。

到目前为止,我花了 10 个月的时间,我把它开源了。它仍然缺少大量文档(需要完成大量工作)。我必须通过一组更大的单元测试(也需要完成大量工作)来完成它,以便我在 beta 版本中体面地发布它。即使我仍然将它保留在 alpha 版本,它也是我公司所有 ETL 流程的基础,而且它的工作方式非常糟糕!

于 2019-01-26T17:23:16.313 回答