1

我们正在使用 Sqoop 从 MySQL 导出一些数据，通过 Apache Pig 对其进行一些处理，然后尝试将这些数据从 HDFS 导出回 MySQL 数据库。但是，在导出数据时，我们遇到了问题：

java.io.IOException: Can't export data, please check task tracker logs
    at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112)
    at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
    at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.NumberFormatException: For input string: ".proseries.com"
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
    at java.lang.Integer.parseInt(Integer.java:449)
    at java.lang.Integer.valueOf(Integer.java:554)
    at mdm_urls.__loadFromFields(mdm_urls.java:419)

HDFS 数据如下所示（制表符分隔）：

id:int  url:text  tld:text  port:int

不知何故，该tld字段被导入到某些行port的列中。在大约 2.5 亿行中，只有不到 10 行是这种情况。我最初的假设是 url 字段中必须有一个选项卡。但是，我们已经删除了 Pig 脚本中的所有选项卡：

REGISTER target/mystuff.jar;

legacy_urls = LOAD 'url' USING PigStorage(',') AS (id, sha1, url_text);
legacy_urls_norm = FOREACH legacy_urls GENERATE id AS id, sha1 AS sha1, REPLACE(REPLACE(url_text, '\n', ''), '\t', '') AS url_text;

urls = FOREACH legacy_urls_norm GENERATE id, url_text, mystuff.RootDomain(url_text), mystuff.Protocol(url_text), mystuff.Host(url_text), mystuff.Path(url_text), mystuff.EffectiveTld(url_text), mystuff.Port(url_text), sha1;

STORE urls INTO 'mdm_urls';

这是我的 sqoop 导出命令：

sqoop export --connect jdbc:mysql://hostnmae/db_name --input-fields-terminated-by "\t" --table test --export-dir my_urls

我很难调试这个，因为 sqoop 错误没有给出任何关于它正在处理的行的指示（以便我可以确认是否仍然存在选项卡字符等）。我的第一个问题是，我怎样才能更好地解决这个问题？我的第二个问题是，人们如何使用 PIG 逃避错误的输入数据？

4

0 回答 0