0

我安装了 Vora 1.1。SLES 11 SP3 上带有 Spark 1.5.2 的 HDP 2.3 上的补丁 1。这不完全是 Note 2213226 中提到的配置，但 Vora 的 shell 版本似乎与安装手册的测试 2.7 正常工作（后者没有根据操作系统版本规定 HDP 版本，因此我选择了 HDP2 .3 在 SLES 下）。

不过，我对 Zeppelin 有疑问。github安装0.5.6版本好像成功了，可以在Zeppelin记事本中执行“create table”语句，但是在执行“show tables”语句时报错：

Error: Job aborted due to stage failure: Task 0 in stage 12.0 failed 4 times, most recent failure: Lost task 0.3 in stage 12.0 (TID 36, eba156.extendtec.com.au): java.io.InvalidClassException: org.apache.spark.unsafe.types.UTF8String; local class incompatible: stream classdesc serialVersionUID = 7459647620003804432, local class serialVersionUID = 7786395165093970948 at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:621) at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1623) at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1518) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1774) at 
(blablabla)

我相信我找到了原因：

  • 来自库 spark-sap-datasources-1.2.10-assembly.jar（然后由 Zeppelin 使用）的类 UTF8String.class 的日期为 1 月 20 日，大小为 17919 字节。
  • Spark 的 1.5.2 中包含的类 UTF8String.class。图书馆的日期为 12 月 16 日，大小为 18653

所以我猜这些库的版本不匹配。我应该如何进行？谢谢！

4

2 回答 2

0

直到 Vora1.1 Patch 1 官方不支持 HDP2.3.4 附带的 Spark 1.5.2 版本（HDP-Spark1.5.2 版本与 Apache Spark1.5.2 版本略有不同）。Thriftserver 和 Zeppelin 存在 2 个已知问题。最简单的解决方法是在 Ambari 之外安装 Apache Spark 1.5.2，而不使用 HDP-Spark 版本。

从 Vora 1.2（2016 年 3 月 31 日发布）开始，HDP-Spark 1.5.2 版本的两个问题都已解决，Vora 与它完全兼容。

于 2016-03-31T23:49:23.710 回答
0

我已经将提到的类从 Spark 的“未绑定”库复制到 spark-vora-zeppelin 组合中，覆盖了那里的类。“SHOW TABLES”执行没有任何问题。我想知道这是否是合适的解决方案，但到目前为止它有效。

于 2016-03-17T10:16:30.447 回答