在我的数据管道中,我试图合并两个数据集,一个来自 SQL 表的数据和一个 Azure Blob 存储中的相应 json 文件。SQL数据中的每一行都包含一个blob文件的名称,我想要实现的是,对于每一行获取列中提到的文件,将该json blob数据与行连接并写入另一个blob。
首先,我尝试在内部使用Lookup
和ForEach
活动Data Pipelines
,参数化的 blob 数据集以根据列中的值读取名称,但后来我没有找到任何方法将每个数据与 blob 数据一起写入,但它确实复制了 blob 文件。
然后我尝试使用Lookup Transformation
inside Data Flows
,但我未能使用列值作为第二个源的名称来合并数据。
无论如何,在数据管道或数据流内部是否有合并两个数据集,其中一个数据集的名称是动态的?