1

我在一家金融公司工作。我们需要在交易时跟踪准确的价值维度。我们尝试在大约 15 分钟内将数据增量加载到仓库中,在此期间,我们可以看到具有确切业务键的维度多次更改(收集了多条记录)。通常,我们编写脚本以在 15 分钟窗口内选择最新的所有更改。但在我们的例子中,我希望将所有这些更改加载到维度表中。如何实施?

编辑:

同一批次中的示例:

Business Key, Name, email (scd 2), Created_at
1, xyz,  xyz@gmail.com, 1/1/21 10:00 AM
1, xyz,  abc@gmail.com, 1/1/21 10:05 AM


Expected changes in dimension

SK, BK, Name, Email, Effective_date, Expiration_date, Current

1, 1, efg@gmail.com,  01/01/1900 0:00 AM, 1/1/21 9:59 AM, N
--- New changes from batch ------
2, 1, xyz@gmail.com,  01/01/2021 10:00 AM, 01/01/2021 10:05 AM, N
3, 1, abc@gmail.com,  01/01/2021 10:05 AM, 12/31/9999 00:00 AM, Y
4

0 回答 0