我在使用源事务表中的标识列或日期时间列从事务系统加载数据仓库时实现了增量检测。当下次需要提取数据时,将上次提取的最大日期时间值用于提取查询的过滤器中,以识别新的或更改的记录。这已经足够好了,除非在同一毫秒内有多个事务。
但是现在我们有了 SQL Server 2008 的变更数据捕获 (CDC),它提供了一个名为 LSN(日志序列号)的新东西,它是长度为 10 的二进制文件。现在我很困惑。应存储哪些数据以用于窗口化,LSN 或日期时间。当然 LSN 消除了在大型事务表中存储额外日期时间值的需要,但这有什么缺点吗?我应该使用哪一个?我觉得,将 LSN 映射到日期时间然后存储日期时间不是一种可靠的方法。你有什么意见?
PS:致非商业智能专业人士,对不起。