0

如何将增量数据加载到分区的配置单元表中

我有包含以下列的表“用户”，我创建了基于 created_on 字段的配置单元分区

id bigint,
name string,
created_on string(yyyy-MM-dd),
updated_on string

我创建了一个 sqoop 作业以根据上次修改日期增量导入

sqoop job --create users -- import --connect jdbc:mysql://<ip>/product  --driver com.mysql.jdbc.Driver --username <> -P --table users --incremental lastmodified --check-column updated_on --last-value "2016-11-15"--hive-table users --hive-import --hive-partition-key created_on --hive-partition-value "2016-11-15" --m 1

如果您观察上述作业，这将根据上次修改的值获取并插入错误的分区

有没有解决这个问题的方法

4

1 回答 1

0

您在 1 列上加载分区，并期望基于不同的列进行写入？那简直是“不匹配”。

解决方案似乎是使负载和分区对齐。

因此，如果您想写入 created_on 等于 2016-11-15 的所有记录，那么还要确保准确地加载这些记录。（我想在这种情况下你不应该使用标准的增量功能）。

于 2016-11-18T13:39:15.660 回答