mysql - 将数据从 Mysql 导入 Hbase 时更改了数据格式

Question

我正在使用 sqoop 将数据从 Mysql 导入 Hbase。它工作正常，但有一个问题。正如我从 Sqoop 文档中读到的，sqoop 将 mysql 数据转换为字符串，然后将其存储在 Hbase 中。然而这对我来说是个问题，因为我必须将数据从 Hbase 导出回 Mysql，那时，sqoop 将如何推断 Hbase 数据的数据类型信息？有人请帮助解决这个问题。

Answer 1

您可以做的是 - 在导出期间，只需将其导出到 MySql 端的临时表。那时数据类型会有所不同。然后编写一个查询，将它们从临时表中插入到原始 MySql 表中，并在此期间过滤掉意外数据或转换数据类型。

我遇到了与时间戳数据类型非常相似的问题，因为在 Hive 中我将它存储为 bigint。在导出期间，我首先插入它们以使 Sqoop 导出正常工作。如果它成功，那么我运行一个查询，该查询实际上将这些数据从临时表加载到原始表，同时转换数据。希望能帮助到你。