我有一个在数据流中使用基本转换的 ADF 管道。因此,数据流非常简单,这里没有什么复杂的。只有几个查找和派生列。
直到今天早些时候它工作正常,但从下午开始,每个步骤的输出数据预览都超时了。其中一个查找表有大约 700 万条记录,但直到今天早些时候它仍然显示良好。我更改了调试设置中的行限制,但输出数据预览仍然超时,没有任何结果。甚至派生列的数据预览也会超时。
我想无论如何都要运行管道以查看加载到决赛桌的内容。但这失败了,因为显然派生列正在获取一些 NULL 值并将其传递给 SINK 表结构中的 NOT NULL 字段。所以,现在我真的需要预览步骤输出。
数据预览需要很长时间,然后就会出现超时错误。请建议是否有任何改变 ADF 性能的方法。