我正在尝试将配置单元元存储与 Shark-0.9.1 (hive-0.11.0) 一起使用。现在,我很乐意让它在单个节点上运行,因此不涉及奴隶制。在运行 hive 时,我可以创建表并执行 SQL 语句,例如
hive> SELECT MAX(rating) FROM data;
使用火花时,几乎唯一有效的是
shark> show tables;
它显示了以前使用 hive 创建的表。
像上面的 SELECT 一样的任何其他语句都会给我一个错误。
Exception in thread "main" java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$CompleteRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;
(还有更多“在 java.lang....”)。
我还注意到,在初始化鲨鱼时,我收到以下消息:
1.998: [GC (Metadata GC Threshold) 996276K->19001K(10049024K), 0.0283650 secs]
2.026: [Full GC (Metadata GC Threshold) 19001K->18119K(10049024K), 0.0519489 secs]
Reloading cached RDDs from previous Shark sessions... (use -skipRddReload flag to skip reloading)
3.225: [GC (System.gc()) 653092K->31516K(10049024K), 0.0184714 secs]
3.244: [Full GC (System.gc()) 31516K->18363K(10049024K), 0.0909512 secs]
3.340: [GC (System.gc()) 187300K->18498K(10049024K), 0.0040080 secs]
3.344: [Full GC (System.gc()) 18498K->15265K(10049024K), 0.0836514 secs]
有什么想法可能是这些问题的原因吗?我应该补充一点,我对此很陌生,所以这可能是我错过的一些非常基本的事情。