google-bigquery - google bigquery中的scd2表实现

Question

我正在尝试在 BigQuery 中创建一个 SCD（缓慢变化的维度）类型 2 表，而不使用任何 DML

测试架构：

id | date | name | valid_from | valid_to | flag

我需要捕获特定的名称更改id。

谢谢，

Answer 1

您可以创建人工日期分区表来实现这一点。这样，每个日期的数据都是唯一的，并且可以由`select distinct column from `dataset.table$yyyymmdd;`所有历史记录访​​问，只需执行select distinct column from dataset.table;. 此外，您始终可以覆盖/附加到给定日期的分区，而不会伤害他人。