apache-pig - 我想将地图转换为 Pig Latin 脚本中的字段

Question

我的关系 (A) 的元组的描述如下： {a: int, b: int, c: map[]} 该映射仅包含一个字符数组，但键不可预测。例如，我的元组样本是：

(1, 100, [key.152#hello])
(8, 110, [key.3000#bonjour])
(5, 103, [key.1#hallo])
(5, 103, [])
(8, 104, [key.11#buenosdias])
... 

我想将我的关系 (A) 转换为 B 关系，因此 B 描述将是：{a: int, b: int, c: chararray}

使用我的示例，它将给出：

(1, 100, hello)
(8, 110, bonjour)
(5, 103, hallo)
(8, 104, buenosdias)
... 

（我也想过滤空地图）

有任何想法吗？

谢谢你。

Answer 1

虽然编写 UDF 是正确的解决方案，但如果您想使用 Regex 快速解决一些问题，可能会有所帮助。

A = LOAD 'sample.txt' as (a:int, b:int, c:chararray);
B = FOREACH A GENERATE a, b, FLATTEN(STRSPLIT(c, '#', 2)) as (key:chararray, value:chararray);
C = FOREACH B GENERATE a, b, FLATTEN(STRSPLIT(value, ']', 2)) as (value:chararray, ignore:chararray);
D = FILTER C BY value is not null; 
E = FOREACH D GENERATE a, b, value;
STORE E INTO 'output/E';

对于样本输入

1       100     [key.152#hello]
8       110     [key.3000#bonjour]
5       103     [key.1#hallo]
5       103     []
8       104     [key.11#buenosdias]

上面的代码产生以下输出：

1       100     hello
8       110     bonjour
5       103     hallo
8       104     buenosdias