hadoop - 在 Pig 中“扁平化”一个数据包

Question

假设我有一堆从包含多个字符串元组的 Pig UDF 生成的数据包。我怎样才能将它们全部从数据包中取出并简单地使每个字符串成为它自己的“行”数据。

databags = FOREACH data GENERATE pigUdfThatMakesDataBags(data::someText); strings = FOREACH databags { ??? };

Answer 1

我是否正确理解您正在寻找FLATTEN？

Answer 2

databags = FOREACH data GENERATE pigUdfThatMakesDataBags(data::someText);
datatuples = FOREACH databags FLATTEN($0);      -- Bag to Tuples 
strings = FOREACH datatuples FLATTEN(TOBAG(*)); -- Tuples to Tokens'
DUMP strings;