提前致谢。
目前我们正在尝试使用 Protocol Buffers 字节数据创建 Hive 表。我们已经遵循了使用协议缓冲区创建 Hive 表的所有可能步骤，但是NullPointerException在创建 Hive 表时获取。以下是所有必需的详细信息。
版本 -
1. protoc 3.0.0
2. 大象鸟 - 4.14
3. Hortornworks Sandbox Hive 版本 - 1.2.1
4. Protobuf-java 3.0.0
使用的 proto 文件是
package tutorial;
option java_package = "com.mycom.hive.protobuf.serialized";
option java_outer_classname = "BankProtoTest";
message BankClass{
required string bankAmount= 1;
required string bankLocation= 2;
optional string bankName= 3;
}
message BankInfo {
repeated BankClass bankClass = 1;
}
我们正在使用以下命令创建 Java 类
protoc.exe -I=input-proto --java_out=java-output input-proto\BankProto.proto
上述命令为输入协议缓冲区文件生成 Java 类。
在此之后，我们将此协议缓冲区 java 文件复制到一个 maven java 项目，然后创建 JAR 文件。我们将 JAR 文件复制到 hive lib 路径中，即“/usr/hdp/current/hive-client/lib”。
下面是创建表命令
create external table bankproto
row format serde "com.twitter.elephantbird.hive.serde.ProtobufDeserializer"
with serdeproperties
("serialization.class"="com.mycom.hive.protobuf.serialized.BankProtoTest$BankInfo")
stored as
inputformat "org.apache.hadoop.mapred.SequenceFileInputFormat"
outputformat "org.apache.hadoop.mapred.SequenceFileOutputFormat"
location '/user/root/protobuf-input/';
该位置中存在的输入文件作为序列文件存储在 HDFS 中。
执行此命令后出现异常。
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException java.lang.NullPointerException)
任何与此相关的帮助表示赞赏。
再次感谢。
阿维纳什·德什穆赫