etl - 在 ETL 中应该如何实现业务规则？

Question

我正在开发一个产品，该产品使用 SSIS 通过平面文件从大型机导入数据。SSIS 包使用阶段数据库来转换平面文件数据，然后调用 ODS 中的存储过程来加载转换后的数据。有一个潜在的计划是通过 .NET 服务层（而不是通过存储过程直接到 ODS）路由所有 ETL 数据，以集中业务规则/活动等。我正在寻找有关这种方法的输入和不同意见。

Answer 1

听起来不错；您正在将基本 ETL 转换为 ETVL，并添加“验证”步骤。通常这被认为是“转换”阶段的一部分，但是当我将这样的架构概念化时，我更愿意保持这个阶段更纯粹；transform 正在将在提取阶段被拉出并切碎的原始字段转换为我的域模型的对象。验证这些对象是否处于系统的有效状态就是验证。