hive - 在未找到 cdh5.3 类的纱线上运行 spark sql

Question

我可以在独立模式下完美地使用 spark 运行 spark-sql，但是当涉及到 yarn 模式时。spark 告诉我它找不到 hive 类（一些基本的类，如 org/apache/hadoop/hive/ql/plan/TableDesc） .

所以我将 hive 库添加到了 compute-classpath.sh。失败的。然后我想如果纱线不起作用并且独立工作正常。也许我应该更改纱线类路径以包含配置单元库。

然后我又失败了。

我只是不明白配置单元库出现在我的纱线启动日志和火花输出中，为什么我的配置单元 sql 告诉我找不到基本配置单元类？

谢谢大家帮助我

Answer 1

试试这个，添加 spark.executor.extraClassPath=/opt/cloudera/parcels/CDH/lib/hive/lib/*

Answer 2

你很可能有一个类路径问题。请参阅本故障排除指南的“类路径问题”部分]( http://www.datastax.com/dev/blog/common-spark-troubleshooting )。小心设置调用--jars选项并在创建.spark-submitSparkConfig