0

我们在 Oracle 中有不同的数据库模式。我们计划将一些表从 oracle 到 Hive 仓库。但是,如果我们将 oltp 的表的 sqooping 放在顺序上,它就可以工作。但是为了更好地使用我们计划sqoop不同的oltps表parallay,但是sqoop同一个表parallay是失败的。

似乎在sqooping一个表时,sqoop会在hdfs中创建一个临时表,然后它将数据从那里移动到hive表,因为这个原因我们不能sqoop parallay。

有什么方法可以让我们对同一张表进行并行处理。

4

1 回答 1

0

您可以使用参数 --target-dir 指定 HDFS 上的任意临时目录,Sqoop 将首先导入数据。此参数应与 --hive-import 结合使用。

于 2013-10-22T14:17:08.507 回答