azure-data-factory - azure 数据工厂中的 polybase 和批量插入、复制方法有什么区别以及何时使用它们？

Question

有人可以详细说明何时在 azure datafactory 中使用 Polybase 与批量插入，这两种复制方法有什么区别？

Answer 1

标记为“Polybase”和“COPY 命令”的两个选项仅适用于 Azure Synapse Analytics（以前称为 Azure SQL 数据仓库）。它们都是快速加载方法，涉及在 Azure 存储中暂存数据（如果尚未在 Azure 存储中），并且使用快速、高度并行的方法从存储加载到每个计算节点。尤其是在大型表上，由于它们的可扩展性，这些选项是首选，但它们确实有一些限制，记录在上面的链接中。

相比之下，在 Azure Synapse Analytics 上，批量插入是一种较慢的加载方法，它通过控制节点加载数据，并且并行性或性能不高。在大文件上速度要慢一个数量级。但它在数据类型和文件格式方面可能更宽容。

在其他 Azure SQL 数据库上，批量插入是首选且快速的方法。