2

我正在尝试在 apache oozie 中设置 spark 操作工作流，尽管select * from db.table在 hive 上下文中的 spark 代码中调用时出现以下错误：

org.apache.spark.sql.AnalysisException: Table not found: `db`.`table`; line 1 pos 34

这个火花工作与火花提交一起工作，所以我似乎无法确定这个问题。我已将 hive-site.xml 添加到先前问题中推荐的各个位置，例如工作区 lib 目录和工作区目录，并将其添加到 job.xml 设置中，尽管我仍然遇到相同的问题。

我在部署模式集群和主纱线中运行。

我尝试了很多组合，不知道还能做什么。

我哪里错了？

4

1 回答 1

0

需要添加 Hive 配置。例如，在工作流 de 文件所在的位置添加操作。

<spark xmlns="uri:oozie:spark-action:1.0">
   <!-- ... ->
   <file>${hiveConfig}</file>
</spark>

在 job.properties 中必须是参考：

hiveConfig=/user/oozie/extraconfig/hive-site.xml

该文件必须在集群的每个节点中

于 2021-07-02T12:36:32.243 回答