etl - 想要在聚合器阶段以外的数据阶段实现逻辑

Question

除了聚合器阶段，我想实现这个逻辑，基本上是通过转换器阶段根据 ID 列合并这些记录，并且在我的情况下，对于同一个 ID 列，不可能为同一字段获取多个值。

我有这个输入数据，

ID|VAL1|VAL2|VAL3|BAL1|BAL2|BAL3

10001|5|0|0|1000|0|0

10001|0|10|0|0|1200|0

10001|0|0|11|11|0|10500

我希望我的输出是这样的：

ID|VAL1|VAL2|VAL3|BAL1|BAL2|BAL3

10001|5|10|11|1000|1200|10500

是否有可能实现它，如果，那么提前谢谢！！！！

Answer 1

至少有两个选项可以做到这一点：

1. 使用变压器内的回路
2. 存储上一行的数据（借助阶段变量）直到 LastRowInGroup

一些常见的事情是

• 在变压器之前对数据进行排序
• 使用LastRowInGroup将其用作输出约束
• 请记住，阶段和循环变量是自上而下处理的，因此顺序很重要，并且可以在引用从上方向下的变量时指向旧的（以前的）内容

请注意，这有点高级 - 聚合器可能是更简单的解决方案。