azure - 当存在带有转换的数据流活动时，Azure 数据工厂转换管道的执行时间超过 5 分钟

Question

我已经创建了一个带有数据流活动的管道，它连接了我的输入文件中的两个字段。我的输入文件包含 5 行数据和 4 个字段。我正在使用 .net SDK 通过 Visual Studio 创建这些东西。当我创建这个作业并运行它时，它需要超过 5 分钟才能执行。我觉得它在内部启用了数据流调试器，这就是为什么它要花这么多时间。只想知道我的答案是否正确。如果不是，请告诉我为什么即使是 5 条记录也需要这么多时间？谢谢

Answer 1

每当您在 ADF 中使用数据流时，它都必须为数据流提供集成运行时。当涉及数据流时，您总是会产生这个启动时间。

（如果您在同一管道中有多个顺序数据流，则第一个数据流将始终产生启动时间，但如果您在集成运行时配置上设置生存时间 (TTL)，您可以让后续数据流使用该初始运行时并跳过在 TTL 窗口内触发的下游数据流的启动时间。）

只需一个数据流，重新评估您是否绝对需要它。如果不这样做，则可以将其删除并跳过该启动时间。但是，如果您需要数据流，则无法避免最初的启动。