我得到的问题可能不太笼统,因此对于 StackOverflow 来说不是最好的——对此感到抱歉。但是,我正在搜索答案,但没有找到任何答案。
在我们的 DWH 项目(AWS S3 + Redshift + informatica)中,我们有数百个 ETL 作业。每个 ETL 作业均由分析师设计并由 ETL 开发人员开发。分析师正在创建描述高级业务功能的 Excel 文档。我们感觉我们已经到了基于 Excel 的文档开始引起问题的地步。我们需要能够让我们:
- 在字段级转换上定义 ETL,但不需要严格的开发(我们毕竟需要文档工具而不是并行 ETL 开发环境)
- 以图形方式呈现元数据
- 允许对元数据进行版本控制和重要更改(例如,分析师对 ETL 文档中的一个转换进行修改并传递给 ETL 开发人员)
- 跨技术血统——点击数据集市中的字段(甚至在 BI 工具中测量)并呈现所有依赖关系和转换直到源系统的能力
- 影响分析 - 单击源字段并查看数据集市中将受到影响的每个字段的能力
在我看来,ERWIN Data Intelligence 可以胜任这项工作。我在想市场上是否有我们应该考虑的类似产品?