union - 从 pig 的第二个字段生成关系

Question

我对关系执行了“分组依据”，结果类似于以下内容：

    g1,{a1,a2,a3}
    g2,{b1,b2,b3,b4}
    g3,{c1,c2,c3,c4,c5,c6}
    ...

所以第一个字段是组，第二个字段是一个元组包，每个包可能有不同数量的元素。我想要做的是生成一个新的关系，其中包括第二个字段中的所有元素。因此，输出将是： B={a1,a2,a3,b1,b2,b3,b4,c1,c2,c3,c4,c5,c6}

你能帮忙吗？

萨拉

Answer 1

如果你想要我认为你想要的东西，你正在寻求创建一个新的关系，其中以前在分组包中的每个元组现在都是一个完整的记录。为此，请使用FLATTEN运算符，它将袋子炸成多条记录。如果您可以假设包中的所有元组都具有相同的模式，那么您还可以FLATTEN将元组元素提升为成熟的字段：

如果A是分组的结果，并且

DESCRIBE A;
{(key:chararray, bag:{})}

你可以做

B = FOREACH A GENERATE FLATTEN(bag) AS tuple;

然后要将元组转换为完整行，请执行

C = FOREACH B GENERATE FLATTEN(tuple);

FLATTEN 您可以在此处阅读更多信息。

Answer 2

为了得到像你开始的结果，我做了：

grunt> A = LOAD '../../../input/tuplesSample.txt' using PigStorage(' ') AS (grupo:chararray, charo:chararray);
grunt> DESCRIBE A;
A: {grupo: chararray,charo: chararray}
grunt> B = GROUP A by grupo;
grunt> DESCRIBE B;
B: {group: chararray,A: {(grupo: chararray,charo: chararray)}}
grunt> C = FOREACH B GENERATE $0 as grupo, $1.charo as charos;
grunt> DESCRIBE C;
C: {grupo: chararray,charos: {(charo: chararray)}}
grunt> DUMP C;
C: {grupo: chararray,charos: {(charo: chararray)}}
(g1,{(a1),(a2),(a3)})
(g2,{(b4),(b3),(b2),(b1)})
(g3,{(c4),(c5),(c6),(c2),(c1),(c3)})

然后我做了这个，给你一个新的关系（E下面），它包含一个包中的所有元素。

grunt> D = FOREACH C GENERATE FLATTEN($1) as charos;
grunt> DESCRIBE D;
D: {charos: chararray}

grunt> E = GROUP D ALL;
grunt> DESCRIBE E;
E: {group: chararray,D: {(charos: chararray)}}
grunt> DUMP E;
(all,{(c3),(c1),(c2),(c6),(c5),(c4),(b1),(b2),(b3),(b4),(a3),(a2),(a1)})