0

在 Hive 2.3.4 (java 8) 下使用 geoip2 (maxmind) 作为依赖项执行 UDF 时遇到问题，相同的代码在使用 java 7 的旧版本 hive 以及使用 java 8 的 Presto 下工作正常。

我尝试使用精确的依赖项（maven）和手动编译，多个版本的配置单元，将代码和依赖项减少到最低限度

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

import java.io.File;
import java.io.IOException;
import java.net.InetAddress;

import com.maxmind.geoip2.record.City;
import com.maxmind.geoip2.DatabaseReader;
import com.maxmind.geoip2.model.CityResponse;
import com.maxmind.geoip2.exception.GeoIp2Exception;

public final class CityName extends UDF {
        public String evaluate(String dbFile) throws IOException,GeoIp2Exception {
            File database = new File(dbFile);
            InetAddress ipAddress = InetAddress.getByName("127.0.0.1");
            DatabaseReader reader = new DatabaseReader.Builder(database).build();
            return "Database: "+dbFile.toString();
        }
}

错误信息

2019-05-21T16:31:56,631 ERROR [ce3bca33-87aa-4468-b1ed-7080e95efb2d main([])]: ql.Driver (SessionState.java:printError(1126)) - FAILED: SemanticException [Error 10014]: Line 1:7 Wrong arguments ''/root/GeoIP2-City.mmdb'': org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String com.example.hive.udf.CityName.evaluate(java.lang.String) throws java.io.IOException,com.maxmind.geoip2.exception.GeoIp2Exception,java.net.UnknownHostException with arguments {/root/GeoIP2-City.mmdb}:com.maxmind.geoip2.DatabaseReader.(Lcom/maxmind/geoip2/DatabaseReader$Builder;Lcom/maxmind/geoip2/DatabaseReader$1;)V
org.apache.hadoop.hive.ql.parse.SemanticException: Line 1:7 Wrong arguments ''/root/GeoIP2-City.mmdb'': org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String com.example.hive.udf.CityName.evaluate(java.lang.String) throws java.io.IOException,com.maxmind.geoip2.exception.GeoIp2Exception,java.net.UnknownHostException with arguments {/root/GeoIP2-City.mmdb}:com.maxmind.geoip2.DatabaseReader.(Lcom/maxmind/geoip2/DatabaseReader$Builder;Lcom/maxmind/geoip2/DatabaseReader$1;)V
at org.apache.hadoop.hive.ql.parse.TypeCheckProcFactory$DefaultExprProcessor.process(TypeCheckProcFactory.java:1367)
at org.apache.hadoop.hive.ql.lib.DefaultRuleDispatcher.dispatch(DefaultRuleDispatcher.java:90)
at org.apache.hadoop.hive.ql.lib.DefaultGraphWalker.dispatchAndReturn(DefaultGraphWalker.java:105)
.......
Caused by: java.lang.NoSuchMethodError: com.maxmind.geoip2.DatabaseReader.(Lcom/maxmind/geoip2/DatabaseReader$Builder;Lcom/maxmind/geoip2/DatabaseReader$1;)V
at com.maxmind.geoip2.DatabaseReader$Builder.build(DatabaseReader.java:160)
at com.example.hive.udf.CityName.evaluate(CityName.java:20)
... 47 more
4

1 回答 1

0

我们遇到了一个非常相似的问题。在我们的例子中，结果是在 Hive 部署的类路径中有一个过时的 maxmind-db 版本。这甚至可能在较新版本的 Hive 上默认设置，但我尚未确认。

要修复，只需遮蔽对 com.maxmind 的所有引用。此外，为了安全起见，还要隐藏对 fastxml.jackson 的任何引用——这是 GeoIP2 的核心依赖项之一，类路径中的冲突往往会导致像这样的奇怪的运行时问题。您可以在一个解决Hive UDF GeoIP 库中的此类问题的 PR中看到一个示例。

于 2019-08-20T10:47:16.660 回答