我正在将大型数据集迁移（提取-加载）到 LOB 服务，并希望使用 Azure Data Factory v2 (ADF v2)。这将是通常在 SSIS 中实现的同类编排的云版本。我的源数据库和数据集以及目标平台都在 Azure 上。这导致我使用批处理服务 (ABS) 并创建自定义活动的 ADFv2。
https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity
但是，我无法从 Microsoft 提供的文档或示例中了解 ADF v2 如何创建批处理服务所需的作业和任务。
例如，假设我有包含 1000 万条记录的数据集，以及池中有 10 个核心的批处理服务。如何将 1/10 甚至逐行提交到在池中每个内核上运行的命令行应用程序？我如何分发作品？按照 ADF v2 文档中的默认指南，我只获得了一个 datasets.json 文件，它对于我的所有池节点都是相同的，没有“切片”或子集信息。
如果不涉及 ADF v2，我将在 ABS 中创建一个作业，并为每一行或每 X 行创建一个任务。然后节点将执行一个任务一个任务。如何使用 ADF v2 实现类似的功能？