azure-data-factory - Azure 数据工厂：不同的计算环境

Question

有几个计算环境可以为我进行转换。我有一个 REST 源，我每天都从那里得到响应，我必须执行一些转换。

https://docs.microsoft.com/en-us/azure/data-factory/compute-linked-services

我很困惑什么是最好的方法？或者换句话说，所有计算环境之间有什么不同，比如我应该何时使用 Azure Batch、存储过程、HDInsight 等？

Answer 1

这实际上取决于您拥有数据的位置。如果您将数据存储在数据湖中，则不会使用存储过程。如果将数据存储在 Azure Sql 中，则不会使用 Data Lake Analytics。

基本上是这样的：

Data lake -> data lake analytics with u-sql
Azure SQL (warehouse or just sql) -> stored procedure
HDInsight hadoop -> Pig, hive, etc
None of the above -> custom activity with Azure Batch

希望这有帮助！