hadoop - Hadoop 中的 RDMS 数据归档

Question

我们正在探索将仓库中的数据或 RDMS 归档到 Hadoop 的选项。

事实上，我必须使用 sqoop 将数据加载到 HDFS，并且可能必须对其进行压缩。然后删除要归档的行。

问题是当我在两个表之间有外键关系时。我需要保持表之间的数据一致性。请帮助我的方法。

Answer 1

幸运的是，我可以使用 Sqoop API 找到解决方案。我正在触发连接查询以先从子表中选择数据，然后再从父表中选择数据。我已经使用 Sqoop API 在 java 程序中编写了所有逻辑。