0

我对猪很陌生，我想尝试做一个不带标点符号的排序字数。我可以 DUMP D 就好了，当我尝试 DUMP E 并得到这个错误时问题就来了。

[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias E

A = load './SherlockHolmes.txt' using PigStorage(' ');
B = foreach A generate FLATTEN(REGEX_EXTRACT_ALL(LOWER((chararray)$0),'([A-Za-z]+)')) as word;
C = group B by word;
D = foreach C generate COUNT(B) AS counts, group AS word;
E = ORDER D BY counts DESC;
DUMP E;

我究竟做错了什么？

4

1 回答 1

3

对于这个答案，我将使用它作为我的示例输入：

Hello, my ;name is Holmes.                                                       
This is a test, of a question on SO.                                            
Holmes, again.

当我第一次编写脚本时，我发现它对每个步骤都有一些示例数据非常有帮助，DESCRIBE因此DUMP我确切地知道发生了什么。使用您的脚本执行此操作显示：

A = load './SherlockHolmes.txt' using PigStorage(' ');
-- Schema for A unknown.
-- (Hello,,my,name,is,Holmes.)
-- (This,is,a,test,,of,a,question,on,SO.)
-- (Holmes,,again.)

所以输出A是一个“元组”（实际上它是一个模式），具有未知数量的值。通常，如果您不知道元组中的值有多少，您应该使用包来代替。

B = foreach A generate FLATTEN(REGEX_EXTRACT_ALL(LOWER((chararray)$0),'([A-Za-z]+)')) as word;
-- B: {word: bytearray}
-- ()
-- (this)
-- ()

当您使用时，$0您指的不是架构中的所有单词，而是第一个单词。因此，您仅将LOWERandREGEX_EXTRACT_ALL应用于第一个单词。另外，请注意，FLATTEN运算符是在元组上完成的，不会产生您想要的输出。你想要FLATTEN一个包。

C, D, 和E所有都应该像你期望的那样工作，所以这一切都是关于按摩数据以进入他们可以使用的格式。

知道了这一点，你可以这样做：

-- Load in the line as a chararray so that TOKENIZE can convert it into a bag
A = load './tests/sh.txt' AS (foo:chararray);

B1 = FOREACH A GENERATE TOKENIZE(foo, ' ') AS tokens: {T:(word: chararray)} ;
-- Output from B1:
-- B1: {tokens: {T: (word: chararray)}}
-- ({(Hello,),(my),(;name),(is),(Holmes.)})
-- ({(This),(is),(a),(test,),(of),(a),(question),(on),(SO.)})
-- ({(Holmes,),(again.)})

-- Now inside a nested FOREACH we apply the appropriate transformations.
B2 = FOREACH B1 {

    -- Inside a nested FOREACH you can go over the contents of a bag
    cleaned = FOREACH tokens GENERATE 
              -- The .*? are needed to capture the leading and trailing punc.
              FLATTEN(REGEX_EXTRACT_ALL(LOWER(word),'.*?([a-z]+).*?')) as word ;

    -- Cleaned is a bag, so when we FLATTEN it we get one word per line
    GENERATE FLATTEN(cleaned) ;
}

所以现在的输出B2是：

B2: {cleaned::word: bytearray}
(hello)
(my)
(name)
(is)
(holmes)
(this)
(is)
(a)
(test)
(of)
(a)
(question)
(on)
(so)
(holmes)
(again)

其中，当输入C、D和时E，将给出所需的输出。

如果您需要我澄清任何事情，请告诉我。

于 2013-07-30T18:46:02.417 回答