hadoop - Pig Latin 中的 FOREACH 多个数据

Question

我可以在 Pig Latin 中做这样的事情吗？

data1 = LOAD 'hadoop/text1.txt' AS (line:chararray);
data2 = LOAD 'hadoop/text2.txt' AS (line:chararray);

mixed = FOREACH data1, data2 GENERATE data1:line, data2:line;

Answer 1

一般来说，按照您的要求去做是没有意义的，因为数据将由多个映射器加载，可能一次加载一行。不能保证对应的行会被同一个映射器看到，也不能保证映射器知道他们正在读取哪个块的哪一行。正如 WinnieNicklaus 所提到的，最好的办法是标记线条并进行连接。