amazon-redshift - 使用 talend 进行增量更新

Question

我的要求需要每天执行从 myrds 到 redshift 的增量更新，我在 rds 表中有一个主键作为 'id' 有没有什么可能的方法可以将 id 保存在 talend 的变量中以及当 nxt 时间 talend 作业运行时它验证 sql

其中 sorucerds id > destredsfhit id

测试工作

所以它应该只更新在我尝试过的最后一次更新之后插入的行，但它没有按预期工作我是 talend 的新手，所以如果有任何建议对我有很大帮助

问候

Answer 1

使用tMySqlInput组件（或用于查询 RDS 的任何内容）并编写以下查询：

"select MAX(id) as maxid from <your table name>"

单击Guess Schema按钮为组件的输出生成模式。将tJavaRow组件放在它旁边并将主行拖动到它。在您的上下文中创建一个空变量（在存储库窗格中）。让我们称之为maxid。回到tJavaRow组件并编写以下代码：

context.maxid = row1.maxid

这会将输出中的maxid值分配tMySqlInput给上下文变量。之后您可以在工作中使用它。