azure - Azure 数据工厂按文件夹合并镶木地板文件

Question

我有一个带有这种格式的镶木地板文件的 ADLS Gen2 帐户（已启用 HNS）：

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Parquet file 01
     -Parquet file 02
     -...

我想使用 Azure 数据工厂将最低级别的 parquet 文件合并到一个文件中，最终结构应如下所示。

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Merged Parquet File

如果我使用“复制数据”活动，我只能在“合并文件”和“保留 Hiracie”之间进行选择。有没有办法做到这一点？感谢您的帮助！

Answer 1

如果在复制活动中合并文件对您不起作用，您可以使用数据流，并且联合转换可以将多个文件组合成一个文件输出。