0

我有一个由 3 个步骤组成的工作。我的输入是存储在 Amazon S3 中的加密 JSON 对象（每行一个）。(s3e://)。

作业参数：

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);

其他一些重要参数：

mapred.min.split.size           0
mapred.job.reuse.jvm.num.tasks  -1
fs.s3.block.size             67108864

我面临的问题是我的第二步的映射器几乎总是失败，除了我的 JSON 被错误地终止。经过进一步调查，我确定 JSON 本身在输入文件中是正确的，并且是映射器读取了不完整的值。读取的值TextInputFormat不完整且错误终止。

JsonException Value: {..."tag_action_code":"ndi","tag_value":"tribhutes
FATAL - JSON exception while handling exception 
org.json.JSONException: Unterminated string at character 390
    at org.json.JSONTokener.syntaxError(JSONTokener.java:410)
    at org.json.JSONTokener.nextString(JSONTokener.java:244)
    at org.json.JSONTokener.nextValue(JSONTokener.java:341)
    at org.json.JSONObject.<init>(JSONObject.java:190)
    at org.json.JSONObject.<init>(JSONObject.java:402)
    at com.amazon.associates.lib.ExtractItemMapReduce.putItemProcessingStateToExtracItemText(ExtractItemMapReduce.java:92)
    at com.amazon.associates.mapred.common.FatTireMapper$1.putItemProcessingState(FatTireMapper.java:51)
    at com.amazon.associates.mapred.common.FatTireMapReduceExecutor.handleException(FatTireMapReduceExecutor.java:35)
    at com.amazon.associates.mapred.common.FatTireMapperExecutor.execute(FatTireMapperExecutor.java:55)
    at com.amazon.associates.mapred.common.FatTireMapper.map(FatTireMapper.java:63)
    at com.amazon.associates.mapred.common.FatTireMapper.map(FatTireMapper.java:21)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:771)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:375)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Filename: part-00004 Split Details: Start: 0 Length: 593575152
Key: 536936059 Value: {..."tag_action_code":"ndi","tag_value":"tribhutes

这种情况一直在发生。但有趣的是，有时第二步通过，第三步失败。

我的测试数据非常庞大，在成功完成第一步（总是通过）后，我得到了 5 550-600 MB 的检查点间歇文件，这些文件将输入到第二步。

在第二步的输入未加密的尝试之一中，它成功了。

我很困。任何类型的指针或帮助将不胜感激。

4

1 回答 1

0

您的加密方案是否有可能记录的加密版本可能包含换行符？如果是这样，这将导致 Hadoop 错误地将 JSON 对象视为两个单独的记录。这是我对这里发生的事情的猜测。使用 TextInputFormat 时，请务必非常小心地从数据中转义或删除换行符。

于 2013-02-01T01:31:02.070 回答