我有一个使用 Hive 生成的表(在 Amazon Elastic MapReduce JobFlow 上)。我可以看到数据位于hdfs:///mnt/hive_081/warehouse/[table name]
.
我已经将 Sqoop 包装在一个 jar 中(没有更改任何内容),并将其上传到主节点进行测试。
我这样运行我的 sqoop jar:
/usr/lib/jvm/java-6-sun/bin/java -cp /home/hadoop/conf:/usr/lib/jvm/java-6-sun/lib/tools.jar:/home/hadoop:/home/hadoop/hadoop-tools-1.0.3.jar:/home/hadoop/hadoop-tools.jar:/home/hadoop/hadoop-core-1.0.3.jar:/home/hadoop/hadoop-core.jar:/home/hadoop/lib/*:/home/hadoop/lib/jetty-ext/* -Xmx1000m -Dhadoop.log.dir=/mnt/var/log/hadoop/steps/6 -Dhadoop.log.file=syslog -Dhadoop.home.dir=/home/hadoop -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.io.tmpdir=/mnt/var/lib/hadoop/steps/6/tmp -Djava.library.path=/home/hadoop/native/Linux-i386-32 org.apache.hadoop.util.RunJar /home/hadoop/fsa/anet-dw-sqoop-0.0.1-SNAPSHOT.jar $ARGS
其中 $ARGS 是(省略了敏感的 mysql 标志):
--export-dir hdfs:///mnt/hive_081/warehouse/[table name] --input-null-non-string '\\\N' --direct --input-null-string '\\\N' --username root --input-fields-terminated-by '\0x009' --driver com.mysql.jdbc.Driver --table [table name]
我正在对我模拟的十行数据进行测试。没有空值。每一行都是唯一的,在所有列中重复相同的数字。当我执行命令时,我得到很多
java.lang.NumberFormatException: For input string: "231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 231 -25 231 -25 -25 231 231 -25"
我每次都会收到相同的四行(共 10 行)的此消息(忽略负值,这些是 TINYINT 的列,不适合该数字)。
您可以看到行中前两个值之间的空间要小得多。这是我的问题吗?什么会导致这个?仅供参考,如果我将数据文件从 HDFS 复制到本地 FS,并指向它,我不会收到此消息 - 而且数据也没有到达其目的地:/。无论如何,我正在尝试自动化多步骤过程,因此我希望能够直接对 HDFS 数据进行操作,而无需复制任何内容。
非常感谢任何建议!
更新:当我使用逗号作为分隔符时也会发生这种情况。观察到相同的四行。当我将 Hive 表限制为仅一行(而不是先前测试中的错误行之一)时,会发生相同的错误。