parameter-passing - Datastage 增量计费

Question

• 我们想在 DataStage 中执行增量加载（在并行环境中）。只加载前一次加载和新加载之间的增量（用于创建、更新、删除 DWH 中的记录）。

• 我们希望存储上次加载期间恢复的最后一个密钥，以便能够在新加载时从下一条记录重新启动请求。

• 我们已经成功地使用了一个参数来过滤运行时的 SQL 负载查询。不幸的是，我们还没有找到检索最后一个键（max (Key) - Aggregator?）并将其存储在此参数中的可能性。

• 使用哪个阶段，在同一个并行作业中输出单个值，然后存储到参数？

有任何想法吗 ？

谢谢你的帮助。

Answer 1

考虑从您的目标中获取最大值 - 它很可能是一个数据库，并且 max() 很容易做到。

查看我关于从“流”获取一些数据到参数的帖子

Answer 2

谢谢迈克尔，

我发现 Head stage 可以在同一个作业中获得最大值（LastRowId），其中“所有行（跳过后）= False）和“行数（每个分区）=1。我以顺序模式运行这项工作......

这工作得很好。