1

我创建了一个多节点 hadoop 集群并在其上安装了 hive。另外,在另一台远程机器上,我安装了 MySQL。我打算将存储在 HDFS 中的数据导出到关系数据库 MySQL 中。我研究了如何使用 Sqoop 做到这一点。所以我发现我需要在 MySQL 中创建一个表,该表具有相同顺序的目标列(与 Hive 中的一样),并具有适当的 SQL 类型。然后使用 sqoop 导出命令。

我的问题是:如果表在 Hive 中分区,并且如果在 MySQL 中创建表时我相应地对其进行分区,sqoop export 命令会保留分区吗?我的问题类似于sqoop 导出 mysql 分区。我想知道 sqoop 是否添加了分区支持。

这将帮助我决定是继续为该任务安装 scoop,还是使用我为它编写的一些自定义 Python 脚本。

谢谢你。

4

1 回答 1

0

当与 MySQL 对话时,Sqoop 将在 JDBC 层工作。它不会知道底层分区,MySQL 将在插入或更新记录时处理这个。

于 2013-08-18T05:09:32.383 回答