1

我在 Sqoop 中有以下问题？

  • 我很好奇我们是否可以为 sqoop 导入/导出作业设置推测执行关闭/打开。
  • 而且我们是否可以选择在 sqoop 导入/导出过程中设置减速器的数量。根据我的分析，sqoop 不需要任何减速器，但不确定我是否正确。请就此纠正我。
  • 我已经将 sqoop 与 mysql、oracle 以及除上述之外的其他数据库一起使用。

谢谢

4

2 回答 2

3

1) In sqoop by default speculative execution is off, because if Multiple mappers run for single task, we get duplicates of data in HDFS. Hence to avoid this decrepency it is off.

2) Number of reducers for sqoop job is 0, since it is merely a job running a MAP only job that dumps data into HDFS. We are not aggregating anything.

3) You can use Postgresql, HSQLDB along with mysql, oracle. How ever the direct import is supported in mysql and Postgre.

于 2015-04-22T19:39:11.157 回答
0

  1. 默认情况下，推测执行是打开的。它可以在集群范围内或在每个作业的基础上为 map 任务和 reduce 任务独立启用或禁用。

  2. [Sqoop 没有减速器][1]：http: //i.stack.imgur.com/CH8pb.png

  3. 任何与 JDBC 兼容的 RDBMS，即 MySQL、oracle、Postgre

于 2016-08-18T18:31:06.493 回答