2

这是我的（看似微不足道的）PIG 脚本，后面是它生成的异常：

raw_logs = LOAD './Apache-WebLog-Samples.d/access_log.txt' USING TextLoader() AS (line:chararray);

logs = FOREACH raw_logs GENERATE FLATTEN (
    REGEX_EXTRACT_ALL(line, '^(\\S+)\\s+(\\S+)\\s+(\\S+)\\s+\\[([\\w:/]+\\s[+\\-]\\d{4})\\]\\s+"(..*)"\\s+(\\S+)\\s+(\\S+)'))
       AS (remoteAddr:    chararray,
           remoteLogname: chararray,
           user:          chararray,
           date_time:     chararray, 
           request:       chararray,
           httpStatus:          int, <- Here's the problem. But goes away when I set to chararray.
           numBytes:            int);

httpGET200 = FILTER logs BY (request MATCHES '^GET\\s.*') AND (httpStatus == 200);

mylimit = LIMIT httpGET200 40;

DUMP mylimit;

猪脚本

java.lang.Exception: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:404)
Caused by: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String

[ ... non meaningful error output removed ... ]

2013-03-13 14:04:10,882 [main] INFO  org.apache.pig.tools.pigstats.SimplePigStats - Script Statistics: 

HadoopVersion   PigVersion  UserId  StartedAt   FinishedAt  Features
2.0.0-cdh4.2.0  0.10.0-cdh4.2.0 nmvega  2013-03-13 14:04:05 2013-03-13 14:04:10 FILTER,LIMIT

Failed!    
Failed Jobs:
JobId   Alias   Feature Message Outputs
job_local1982169921_0001    httpGET200,logs,mylimit,raw_logs        Message: Job failed!    

Input(s):
Failed to read data from "file:///home/user/Dropbox/CodeDEV.d/BIG-DATA-SNIPPETS.d/PIG.d/Apache-WebLog-Samples.d/access_log.txt"

Output(s):

异常信息

除了“httpGET200”关系之外，一切都有效。由于对我来说不明显的原因，“httpStatus == 200”子句导致上述异常。当我删除该条款时，问题就消失了。或者，或者，当我更改架构并将“httpStatus”声明为“chararray”类型而不是“int”类型时（如上所述并且适用于 HTTP 状态代码），问题也消失了......（当然，当我这样做时，我必须编辑关系以插入引号，如下所示：httpStatus == '200'）。

我检查了输入数据文件并验证，对于每一行，与“httpStatus”相对应的字段确实总是一个整数（......嗯，一个表示整数的子字符串）。

顺便说一下，这里是 grunt 报告的模式（即预期的）：

grunt> describe httpGET200;
httpGET200: {remoteAddr: chararray,remoteLogname: chararray,user: chararray,date_time: chararray,request: chararray,httpStatus: int,numBytes: int}

我想了解这里发生了什么（我的误解或 PIG 限制）。任何人都可以阐明吗？

谢谢！

4

2 回答 2

5

在我看来，如果REGEX_EXTRACT_ALL将输出模式中的字段设置为 int 将导致稍后ClassCastException对该字段执行算术运算。可能是因为所有字段都保留下来，并且在返回的元组中被视为 chararray，尽管给定了模式。

作为一种解决方法，您可以将所有字段设置为chararray，然后执行显式转换 (conv)：

logs = FOREACH raw_logs ....
conv = FOREACH logs generate remoteAddr, remoteLogname, user, date_time, 
         request, (int)httpStatus, (int)numBytes;

然后您可以应用您最初使用的过滤器：

httpGET200 = FILTER conv BY (request MATCHES '^GET\\s.*') AND (httpStatus == 200);

您可以在此票证中找到有关类似问题的更多信息：

于 2013-03-13T23:15:24.520 回答
1

我在尝试比较 Pig 脚本中 FILTER 语句中的两个整数时遇到了同样的问题。我发现最优雅的解决方案是使用GenericInvoker。所以对于你的问题，我会使用：

--StringToInt would be func that will invoke valueOf method of Integer class for String arg.
DEFINE StringToInt InvokeForInt('java.lang.Integer.valueOf', 'String');


--Now we can use it in our FILTER statement (without need to make projections in order to get right types schema for your tuples)
httpGET200=FILTER logs BY (request MATCHES '^GET\\s.*') AND StringToInt(httpStatus)== 200;

瞧！

于 2014-08-27T15:24:42.273 回答