sqoop2 - 使用 Sqoop2 增量导入

Question

我想将 MySQL 表中的数据导入 HDFS。我已经配置了所有东西，并且能够在 sqoop-shell 中创建简单的作业来复制数据。但是我想每次只复制新记录，但我不知道如何实现这一点。当我创建作业时，有一个名为“检查列”的参数，并且我有像 ID 或 eventTimestamp 这样的列似乎适合在那里。但是，在这种情况下，我也应该输入“最后一个值”。我是否必须自己管理最后一个价值，并且每次都用新的“最后一个价值”创造新工作？如果只使用一次然后必须重新创建，为什么在这种情况下创建作业？Sqoop 是否不可能通过每次存储新的“最后一个值”并仅导入新记录来管理这一点？此外，为什么当我输入任何内容时出现此错误消息“ last value": "输入的大小超出了此输入字段的允许范围。最大允许尺寸为 -1"？

Answer 1

关于“最后一个值”的问题，我添加了一个错误： https : //issues.apache.org/jira/browse/SQOOP-2640 它现在已修复状态，因此在 1.99.7 版本中应该没问题。