etl - 改造配置

Question

配置我的转换的最合适和最佳实践驱动的方式是什么？

换句话说，假设我有一个基于kettle 的大型ETL 解决方案，它通过连接到不同的数据源来完成工作，我想将这些数据源存储在一个集中的位置，并让每个转换在每次需要连接到某个地方时都查找它。

在 SSIS 中有包配置，我使用 pentaho 的替代方案是什么？

Ps：我不想安装任何 3rd 方框架。

谢谢

Answer 1

这可以通过多种方式完成。

1. 参数化数据库连接，并通过kettle.properties 配置属性。您仍然可以从共享区域或其他地方访问该kettle.properties。

2. 如上所述，但通过从数据库读取凭据来配置连接。必须手工制作，但可以使用一些警告。

3. 如果您使用存储库，那么无论如何数据库连接都会集中存储。因此，如果您有一个 dev 和一个 prd repo，当您提升时，不要提升 db 连接本身。虽然比听起来更棘手。

至于所有这些，新的 4.4(?) 版本应该有适当的生命周期管理，以使处理所有这些东西变得容易得多！