1

我需要有关 Azure SQL 数据仓库的帮助，我正在使用 Polybase 将数据从 Azure Data Lake Storage Gen2 转换为 Azure SQL DW。当我们第一次将数据加载到 DW 时没有问题。但是当我们再次加载数据/增量加载时，我们如何更新数据？

我们正在使用的流程

ASDL2 -> (polybase) -> 外部表 -> (CTAS) -> 暂存表 -> (转换) -> 维度表

每次数据更改时，我们都会将数据重新加载到 ASDL2 中，
UPSERT 数据的最佳方法是什么，或者我们也应该将数据重新加载到 SQLDW 中？

4

1 回答 1

1

由于Azure 数据仓库不支持MERGE，因此您需要使用其他方式将数据从外部表加载到阶段表。PolyBase 可用于将初始数据和增量数据加载到外部表模式，但它是您执行加载到临时表的方式。

以下是有关如何部署此解决方案的精彩教程：Using PolyBase to Update Tables in Data Warehouse from ADLS

一旦数据通过 ADFv2 管道中的 PolyBase 加载到外部表中，就会调用触发器来执行 ADWH 中的 sp 以执行对暂存表的加载。

于 2019-04-25T20:58:50.003 回答