azure-hdinsight - 在 Azure 数据工厂中的单个 HDinsight 集群上运行多个管道和/或作业

Question

在 Azure 数据工厂中使用 HDInsight 群集为自定义活动运行管道的推荐方法是什么。我们能否将单个 HDInsght 集群用于多个 Azure 数据工厂作业和同时运行的多个管道？

Answer 1

如果您指的是使用 Azure 数据工厂运行自定义 .NET 活动，则可以像运行 HDInsight 活动一样运行它，只需将其标记为自定义活动并链接到 Blob 存储中的 .NET dll zip 文件。使用 Azure Batch 运行也是一种选择，因为 .NET 可以很好地运行，并且 Azure Batch 更便宜（如果自定义活动是拥有 HDInsight 群集的唯一原因）。

您可以使用单个 HDInsight 群集来运行多个数据工厂作业，包括多个并行管道。但是，请记住，根据您的并行作业（数量、大小等）和集群的配置，您可能会使集群的资源过载。