2

我编写了一个使用内部 API 进行解密的 Hive UDF，如下所示：

public Text evaluate(String customer) {
    String result = new String();

    if (customer == null) { return null; }

    try {
        result = com.voltage.data.access.Data.decrypt(customer.toString(), "name");
    } catch (Exception e) {
        return new Text(e.getMessage());
    }

    return new Text(result);
}

和 Data.decrypt 做：

public static String decrypt(String data, String type) throws Exception {
    configure();
    String FORMAT = new String();
    if (type.equals("ccn")) {
        FORMAT = "CC";
    } else if (type.equals("ssn")) {
        FORMAT = "SSN";
    }   else if (type.equals("name")) {
        FORMAT = "AlphaNumeric";
    }

    return library.FPEAccess(identity, LibraryContext.getFPE_FORMAT_CUSTOM(),String.format("formatName=%s", FORMAT),authMethod, authInfo, data);
}

其中configure()创建了一个非常昂贵的上下文对象。

我的问题是：Hive 是否为查询返回的每一行执行一次此 UDF？即如果我选择 10,000 行，评估方法会运行 10,000 次吗？

我的直觉告诉我是的。如果是这样，那么这是第二个问题：

有什么办法可以做到以下之一：

a) 在查询第一次开始时运行一次configure()，然后共享上下文对象

b）不是UDF返回解密的字符串，而是将加密的字符串聚合到某个集合中，然后我对集合进行批量解密？

提前致谢

4

1 回答 1

2

是否configure()需要每个 JVM 调用一次，或者每个 UDF 类的实例调用一次？

如果每个 JVM 一次，只需将其放在类中的静态块中，如下所示：

static {
    configure();
}

如果每个实例一次，将其放入构造函数中：

public [class name]() {
    super();
    configure();
}
于 2012-10-12T20:49:58.930 回答