regex - 我应该在 Pig Latin 中使用什么类型的分隔符来处理 apache 日志？

Question

如果这是我的 Apache 日志的外观，我应该在 PigLatin 中使用什么分隔符来拆分数据。

[Mon Jul 02 10:04:18 2012] [error] [client x.x.x.x] File does not exist: /home/ec2-  user/xxxxxxxxxx/xxxxxxxxx, referer: http://xxxx/xxxxx/xxxxx/

我试过 PigStorage(',') 来拆分引用者和其他字符串。但我怎么能分裂

[Mon Jul 02 10:04:18 2012] [error] [client x.x.x.x] File does not exist: /home/ec2-user/xxxxxxxxxx/xxxxxxxxx

如果我使用空格作为分隔符 Mon Jul 02 10:04:18 2012 将被拆分为多个字符串。

Answer 1

作为Piggybank的一部分，您尝试过 Log Loaders吗？

• http://kickstarthadoop.blogspot.com/2011/06/analyzing-apache-logs-with-pig.html
• http://www.cloudera.com/blog/2009/06/analyzing-apache-logs-with-pig/

Answer 2

这就是我使用的：

REGISTER  /usr/local/pig-0.10.0/contrib/piggybank/java/piggybank.jar;        
A = load '*.log'
        USING org.apache.pig.piggybank.storage.MyRegExLoader(
              '(DATETIMEREX) (ERROREX) (CLIENTEX) (.*)')
        AS ( 
                 dateTime : chararray, 
                 error    : chararray,
                 client   : chararray, 
                 line     : chararray );       

用适当的正则表达式替换 DATETIMEX、ERROREX、CLIENTEX。