automation - 我们可以在 Azure 中自动化 ETL 吗？

Question

我目前正在开发一个非常有趣的 ETL 项目，使用 Azure 手动转换我的数据。但是，当我开始处理多个源文件时，手动转换数据可能会让人筋疲力尽且冗长。我的管道现在工作正常，因为我只有几个文件要转换，但如果我有数千个 excel 文件怎么办？

所以我想要实现的是我想扩展项目并使用逻辑应用程序提取来自电子邮件的 excel 文件，然后直接在它们之上应用 ETL。有什么方法可以在 Azure 中自动化 ETL。我可以在不手动修改不同类型数据的管道的情况下进行 ETL 吗？如何使我的管道灵活，以便能够处理各种类型源数据的数据转换？

预先感谢您的帮助。

Answer 1

我可以在不手动修改不同类型数据的管道的情况下进行 ETL 吗？

根据您的描述，我想您已经知道逻辑应用程序支持ADF 连接器。您可以在逻辑应用流中执行 ADF 管道，甚至可以将参数传递到 ADF 管道。

通常，源和接收器服务应该固定在一个复制活动中，但您可以在数据集中定义动态文件路径。所以你不需要创建多个复制活动。

如果数据类型不同，您可以尝试将参数从 Logic App 传递到 ADF。然后在数据传输之前，您可以使用 Switch 活动将传输路由到不同的分支。