0

真的可以通过sqoop增量导入来导入chunk-wise数据吗？

Say I have a table with rowid 1,2,3..... N (here N is 100) and now I want to import it as chunk. Like
1st import: 1,2,3.... 20
2nd import: 21,22,23.....40
last import: 81,82,83....100

我已经阅读了有关增量导入的 sqoop 作业，也知道 --last-value 参数，但不知道如何传递块大小。对于上面的例子，这里的块大小是 20。

4

1 回答 1

1

最后我编写了一个脚本，该脚本将在每次成功运行 sqoop 后使用新的 where 子句修改参数文件。我正在通过 Oozie 协调器运行两者。我想使用 --boundary-query 但它不适用于块。这就是为什么我不得不做这个解决方法。可以在此处找到此解决方法的详细信息：

http://tmusabbir.blogspot.com/2013/05/chunk-data-import-incremental-import-in.html

于 2013-05-18T03:48:50.067 回答