0

我在 pig 中尝试了我的第一个 UDF 并编写了以下函数 -

package com.pig.in.action.assignments.udf;

import org.apache.pig.EvalFunc;
import org.apache.pig.PigWarning;
import org.apache.pig.data.Tuple;

import java.io.IOException;


public class CountLength extends EvalFunc<Integer> {

    public Integer exec(Tuple inputVal) throws IOException {

        // Validate Input Value ...
        if (inputVal == null ||
            inputVal.size() == 0 ||
            inputVal.get(0) == null) {

            // Emit warning text for user, and skip this iteration
            super.warn("Inappropriate parameter, Skipping ...",
                       PigWarning.SKIP_UDF_CALL_FOR_NULL);
            return null;
        }

        // Count # of characters in this string ...
        final String inputString = (String) inputVal.get(0);

        return inputString.length();

    }

}

但是，当我尝试按如下方式使用它时，Pig 会抛出一条错误消息，在我的 UDF 上下文中至少对我来说不容易理解：

grunt> cat dept.txt;
10,ACCOUNTING,NEW YORK
20,RESEARCH,DALLAS
30,SALES,CHICAGO
40,OPERATIONS,BOSTON

grunt> dept = LOAD '/user/sgn/dept.txt' USING PigStorage(',') AS (dept_no: INT, d_name: CHARARRAY, d_loc: CHARARRAY);
grunt> d = FOREACH dept GENERATE dept_no, com.pig.in.action.assignments.udf.CountLength(d_name);

2015-06-02 16:24:13,416 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: <line 2, column 79>  mismatched input '(' expecting SEMI_COLON
Details at logfile: /home/sgn/pig_1433261973141.log

谁能帮我弄清楚这有什么问题？

我已经阅读了文档，但对我来说，上面的示例中似乎没有什么明显的错误。我在这里错过了什么吗？

这些是我在 pom.xml 中使用的库：

<dependency>
    <groupId>org.apache.pig</groupId>
    <artifactId>pig</artifactId>
    <version>0.14.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.1</version>
</dependency>

有没有兼容性问题？

谢谢，

-维普尔帕塔克；

4

3 回答 3

3

停机约36小时后找到问题原因...

包名称包含“ IN ”，这在某种程度上是 Pig 的问题。

package com.pig.in.action.assignments.udf;
//              ^^

当我将包名称更改为以下时，一切都很好 -

package com.pig.nnn.action.assignments.udf;
//              ^^^

构建修改后的 UDF 后，我注册了 Jar 并为函数名称和宾果游戏定义了一个别名，一切正常 -

REGISTER /user/sgn/UDFs/Pig/CountLength-1.jar;
DEFINE  CL  com.pig.nnn.action.assignments.udf.CountLength;

.   .   .
.   .   .
d = FOREACH dept GENERATE dept_no, CL(d_name) AS DeptLength;

我不记得IN是否是 Pig 中的保留词。但仍然存在 IN 会导致问题，（至少在 Pig 的 0.14.0 版本中）。

于 2015-06-04T01:32:11.690 回答
2

试过上面的例子。只要使用 REGISTER 命令注册 jar 并且 jar 在类路径中可用，我们就不会看到任何错误。

REGISTER myudfs.jar;
dept = LOAD 'a.csv' USING PigStorage(',') AS (dept_no: INT, d_name: CHARARRAY, d_loc: CHARARRAY);
d = FOREACH dept GENERATE dept_no, CountLength(d_name) as length;

输入：a.csv 

10,ACCOUNTING,NEW YORK
20,RESEARCH,DALLAS
30,SALES,CHICAGO
40,OPERATIONS,BOSTON

输出：d

(10,10)
(20,8)
(30,5)
(40,10)

注意： 在上面的运行中，类 CountLength 已在默认包中定义。

如果此类 - CountLength 已在包 com.pig.utility 中定义，那么要访问 UDF，我们必须有如下的 DEFINE 语句

DEFINE CountLength com.pig.utility.CountLength;

或者

我们必须通过完整路径引用 UDF，如下所示：

d = FOREACH dept GENERATE dept_no, com.pig.utility.CountLength(d_name) as length;
于 2015-06-03T05:31:55.783 回答
1

您的 jar 应注册前：

REGISTER /home/hadoop/udf.jar;  

DEFINE package.CountLength CountLength ;
于 2015-06-03T06:11:42.560 回答