apache-pig - 在 Apache Pig 中以特定格式转换数据。

Question

我想在 Apache Pig 中将数据转换为特定格式，以便我可以在其上使用报告工具。

例如：

10:00,abc
10:00,cde
10:01,abc
10:01,abc
10:02,def
10:03,efg

输出应采用以下格式：

        abc   cde  def  efg 
10:00   1      1    0    0
10:01   2      0    0    0
10:02   0      0    1    0

这里的主要问题是一个值可以连续出现多次，具体取决于示例 csv 文件中可用的不同值，总共最多 120 个。

任何解决此问题的建议都非常受欢迎。

谢谢加根

Answer 1

尝试以下操作：

A = load 'data' using PigStorage(",") as (key:chararray,value:chararray);

B = foreach A generate key,(value=='abc'?1:0) as abc,(value=='cde'?1:0) as cde,(value=='efg'?1:0) as efg;

C = group B by key;

D = foreach C generate group as key, COUNT(abc) as abc, COUNT(cde) as cde, COUNT(efg) as efg;

这应该可以让您计算特定键的特定值的出现次数。

编辑：刚刚注意到问题的限制 120 部分。如果您不能超过 120，请输入以下代码

E = foreach D generate key,(abc>120?"OVER 120":abc) as abc,(cde>120?"OVER 120":cde) as cde,(efg>120?"OVER 120":efg) as efg;