1

我在 sql 中有包含 state、region、district、timestamp 列的 log_table

服务器。

ID     state     region     district     timestamp
--     -----     ------     --------     ---------
1       GJ        RE056       DI137      2014-02-05 09:00:00.257
2       CA        RE027       DI154      2014-02-04 14:00:00.183 
3       GJ        RE056       DI137      2014-12-09 16:00:00.257

我想将这些记录加载到具有唯一记录的mysql中的另一个表中，并且在将数据从sql server加载到mysql时，现有数据不应插入到mysql中的新表中，只有每日更新的记录应该加载到新表中重复记录。在这个问题上帮助我如何使用 pentaho 数据集成。

4

2 回答 2

0

我假设该timestamp列代表last_updated_timestamp源数据库（sql server）中的一行。

如果您的目标是每天运行转换，并且您希望仅new or updated将源数据库中的记录加载到目标（mysql）数据库，则需要将其存储timestamp到目标数据库（例如 table log_target）中，转换步骤可能是：

  • 表输入（目标数据库）：timestamp从表中获取 MAX log_target。
    • SELECT COALESCE(MAX(timestamp), '1970-01-01 00:00:00') AS max FROM log_target
  • 表输入（源 db）：从中选择更新的数据log_table
    • 步骤设置：插入数据步骤（从上一步获取数据）；替换脚本中的变量？（真的）
    • SELECT * FROM log_table WHERE (timestamp > ?)
  • 处理您的数据
  • 表输出或插入/更新（目标数据库）：将输出数据存储到log_target表中。不要忘记存储timestamp价值。
于 2015-02-05T16:20:38.590 回答
0

表格输入 -> 对行进行排序（州、地区、区、时间戳降序） -> 唯一行 -> 插入/更新。

对行时间戳降序排序将帮助您在删除重复项后保留最后修改的记录。

于 2021-01-06T09:42:44.227 回答