我有一个场景,在我的源和目标中都是平面文件。我想使用数据流在目标平面文件上实现 SCD-2。我试图使用 alter row 然后 sink 但后来意识到平面文件的 sink 没有提供更新行选项的选项。是否有任何解决方法。
谢谢。
我有一个场景,在我的源和目标中都是平面文件。我想使用数据流在目标平面文件上实现 SCD-2。我试图使用 alter row 然后 sink 但后来意识到平面文件的 sink 没有提供更新行选项的选项。是否有任何解决方法。
谢谢。
不适用于文本平面文件。但是,如果 Parquet / Delta 输出在您的用例中是可接受的,您可以通过使用 Delta 作为接收器中的数据集格式来做到这一点。
https://www.youtube.com/watch?v=evqQRwsF_Ps
https://docs.microsoft.com/en-us/azure/data-factory/tutorial-data-flow-delta-lake