ssis - 事实表核对或验证

Question

在数据仓库项目中，如何验证通过 SSIS ETL 加载在数据仓库数据库中加载的事实表与我的暂存表是否正确，以便以后不会有不正确的报告？

Answer 1

好问题，人们为此创建了不同的系统。因此，您了解这是开发人员构建的最复杂的检查/核对过程之一。我试图给你三种方法来做到这一点。我会推荐第一个，因为它更容易和最有效。

你可以 -

1. 加载后报告：创建将在加载后协调数据的报告。编写 SQL 来比较源数据和目标数据 - 比较计数、比较数量、比较空值、比较每日数据等。如果比较生成标志/警报 - 这意味着负载存在问题。
2. 随时检查：您可以创建一些可重用的函数或映射来比较传入的源数据和目标数据 - 比较计数、比较数量、比较空值、比较每日数据等并存储在一个表中。脚本将继续检查这些值，如果有任何问题，脚本将通知支持团队。
3. 流程前检查：在开始任何 ETL 之前，您可以检查源数据 - 如计数、空值、每日计数等，以验证数据如何，是否有任何文件丢失等。