0

我有一个在数据流中使用基本转换的 ADF 管道。因此,数据流非常简单,这里没有什么复杂的。只有几个查找和派生列。

直到今天早些时候它工作正常,但从下午开始,每个步骤的输出数据预览都超时了。其中一个查找表有大约 700 万条记录,但直到今天早些时候它仍然显示良好。我更改了调试设置中的行限制,但输出数据预览仍然超时,没有任何结果。甚至派生列的数据预览也会超时。

我想无论如何都要运行管道以查看加载到决赛桌的内容。但这失败了,因为显然派生列正在获取一些 NULL 值并将其传递给 SINK 表结构中的 NOT NULL 字段。所以,现在我真的需要预览步骤输出。

数据预览需要很长时间,然后就会出现超时错误。请建议是否有任何改变 ADF 性能的方法。

4

1 回答 1

0

如果您的设置没有太多细节,很难准确回答。

但是,如内部服务器错误的 MS doc 中所述

数据流的成功执行取决于许多因素,包括计算大小/类型、要处理的源/接收器的数量、分区规范、涉及的转换、数据集的大小、数据偏度等。

在此处进一步查看故障排除提示

可能存在大量空值或缺失值,这可能是由于采样的行太少而导致的。尝试更新调试行限制并刷新数据。

有关更多指导,请参阅 集成运行时性能

来自文档建议

转到Debug Settings,增加源行限制中的行数。选择具有足够大的数据流群集以处理更多数据的 Azure IR。

即使集成运行时具有弹性分配的计算资源,您也可以手动设置具有更高容量的新集成运行时。

在此处输入图像描述

另外,由于您提到了数百万条记录,当您有一个数据流并行执行的管道或需要使用大型数据集进行测试的数据流时,请选择“使用活动运行时”,以便服务可以使用您的集成运行时'已在您的数据流活动中选择。这将允许数据流在多个集群上执行,并且可以适应您的并行数据流执行。

在此处输入图像描述

于 2021-09-29T06:46:01.230 回答