hadoop - HiveContext 在 Oozie 中不起作用

Question

我试图使用 HiveContext 对象从我的 spark 代码中运行一些配置单元查询。当我使用 spark submit 从命令行运行它时，它工作正常。但是，当我尝试从 oozie 工作流中运行相同的异常时，我得到了以下异常。

User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Answer 1

如果使用 Hive 类，则应将 Hive sharelib 添加到 Spark 操作。您可以在 oozie-default.xml、工作流或操作配置中设置以下属性：

<configuration>
   <property>
      <name>oozie.action.sharelib.for.spark</name>
      <value>spark,hive</value>
   </property>
</configuration>