0

我对 Hive 真的很陌生,如果我的问题有任何误解,我深表歉意。

我需要将hadoop序列文件读入Hive表,序列文件是thrift二进制数据,可以使用Hive自带的SerDe2进行反序列化。

现在的问题是:文件中的一列是用 Google protobuf 编码的,所以当 thrift SerDe 处理序列文件时,它不会正确处理 protobuf 编码的列。

我想知道 Hive 中是否有办法处理这种嵌套在节俭序列文件中的 protobuf 编码列,以便可以正确解析每一列?

非常感谢您提供任何可能的帮助!

4

1 回答 1

0

我相信你应该使用其他一些 serde 来反序列化 proto buff 格式,

也许你可以参考这个,

https://github.com/twitter/elephant-bird/wiki/How-to-use-Elephant-Bird-with-Hive

于 2016-11-07T07:51:26.143 回答