5

我正在尝试编译这个 UDF：

package com.dataminelab.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
import java.security.*;

/**
 * Calculate md5 of the string
*/
public final class Md5 extends UDF {

    public Text evaluate(final Text s) {
        if (s == null) {
            return null;
        }
        try {
            MessageDigest md = MessageDigest.getInstance("MD5");
            md.update(s.toString().getBytes());
            byte[] md5hash = md.digest();
            StringBuilder builder = new StringBuilder();
            for (byte b : md5hash) {
            builder.append(Integer.toString((b & 0xff) + 0x100, 16).substring(1));
            }
            return new Text(builder.toString());
            } catch (NoSuchAlgorithmException nsae) {
            System.out.println("Cannot find digest algorithm");
            System.exit(1);
        }
        return null;
    }
}

尝试编译：

javac Md5.java

但我得到：

Md5.java:2: package org.apache.hadoop.hive.ql.exec does not exist
import org.apache.hadoop.hive.ql.exec.UDF;
                                     ^
Md5.java:3: package org.apache.hadoop.io does not exist
import org.apache.hadoop.io.Text;

我假设这些在某处的 jar 文件中，但我不确定 hadoop 将它们安装到哪里，所以我无法将它们添加到我的类路径中。有谁知道默认位置或如何找出？

4

3 回答 3

3

以下对我有用，但我怀疑详细信息会因您的安装和源代码的作用而异：

export CLASSPATH=/usr/lib/hive/lib/hive-exec-0.9.0.15.jar:/usr/lib/hadoop/hadoop-core.jar
于 2012-12-05T20:54:48.273 回答
0

您是否在类路径中包含了 $HIVE_HOME/lib/hive-serde-*.jar 和 $HIVE_HOME/lib/hive-exec-*.jar 形式的罐子？

于 2012-06-13T17:01:15.853 回答
0

将 hive-0.4.1 jar 文件添加到 lib

于 2013-02-13T07:59:14.200 回答