我是hadoop的新手。我试图使用 Hcatalog 将 PIG 与 hive 集成,但在转储期间出现以下错误。请让我知道是否有人可以帮助我:
A = load 'logs' using org.apache.hcatalog.pig.HCatLoader();
dump A
错误 org.apache.pig.tools.grunt.Grunt - 错误 2998:未处理的内部错误。
找到接口 org.apache.hadoop.mapreduce.JobContext,但预期类
加载并描述工作正常,但转储给出上述错误
详细信息:hadoop-2.6.0 pig-0.14.0 hive-0.12.0
使用编译的存钱罐
$ "ant -Dhadoopversion=23 clean jar"
export PIG_OPTS=-Dhive.metastore.uris=thrift://localhost:10000
export PIG_CLASSPATH=$HCAT_HOME/share/hcatalog/*:$HIVE_HOME/lib/*
$ REGISTER hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar;
$ REGISTER hadoop-2.6.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar;
$ REGISTER hive-0.12.0/hcatalog/share/hcatalog/hcatalog-core-0.12.0.jar;
$ REGISTER hive-0.12.0/lib/hive-exec-0.12.0.jar;
$ REGISTER hive-0.12.0/lib/hive-metastore-0.12.0.jar;
使用运行配置单元服务器"hive --service hiveserver"
hive-site.xml:(and mysql related stuff )
hive.metastore.local
true
请让我知道是否需要配置其他任何内容