1

我收到错误“错误 2078：从 UDF 捕获错误：com.Hadoop.pig.SplitRec [捕获异常处理输入行 [1]]”。我确定输入字符串超出范围，但我不确定哪个记录（记录号）导致问题。

我正在尝试创建日志以显示导致问题的记录，但我不确定是否要调试以打印/记录错误记录。

输入看起来像：

**PXW01YIN 12000099PGEN PXW01YINFFFFFFFF PXW01YINIMFGUIPY04301Y301 JFK 00888JFK 008880001 PIMF 0000N/ACTRC5/TXN08/SCR301\/SEQ/TEX021\@

PXW01PIN 12000099PGEN PXW01PINFFFFFFFF PXW01PINIMFGUIAV04301P301 PER 03615PER 036150001 PIMF 0000N/ACTRCK/TXN08/SCR301\/SEQ/TEX021\@**

以上行是两条记录，我已经测试过它们（使用 LIMIT），它们没有引起问题。我有超过 150kb 的输入数据。

我正在使用的脚本：

   SPLT_REC1 = load  '/user/hduser/output/realdata/pig_out6/part-m-00000' as (tran_array:chararray);
   register /home/cloudera/workspace/SplitRec.jar;
   define SplitRec com.Hadoop.pig.SplitRec();
   SPLT_REC2 = foreach SPLT_REC1 generate SplitRec(tran_array);
   store SPLT_REC2 into '/user/hduser/output/realdata/pig_out7';





package com.Hadoop.pig;
import  java.io.IOException;

import  org.apache.pig.EvalFunc;
import  org.apache.pig.data.Tuple;
import  org.apache.pig.impl.util.WrappedIOException;

@SuppressWarnings("deprecation")
public class SplitRec extends EvalFunc<String> {
public String exec(Tuple input) throws IOException {
    if (input == null || input.size() == 0)
        return null;

    try {
        String Str1 = (String)input.get(0);
        String delim1 = "PIMF+";
        String[] tokens1 = Str1.split(delim1);

        String part3 = tokens1[0];
        String part4 = tokens1[1];
        int len1 = part4.length();
        String part5 = part4.substring(8,len1);

        String conCat1 = part3+":"+part5;
        return conCat1;
    }
    catch(Exception e) {
        throw WrappedIOException.wrap("Caught exception processing input row ", e);
    }

}
4

0 回答 0