问题标签 [oozie-workflow]

我正在尝试在 apache oozie 中设置 spark 操作工作流，尽管select * from db.table在 hive 上下文中的 spark 代码中调用时出现以下错误：

这个火花工作与火花提交一起工作，所以我似乎无法确定这个问题。我已将 hive-site.xml 添加到先前问题中推荐的各个位置，例如工作区 lib 目录和工作区目录，并将其添加到 job.xml 设置中，尽管我仍然遇到相同的问题。

我在部署模式集群和主纱线中运行。

我尝试了很多组合，不知道还能做什么。

我哪里错了？

我正在尝试运行 Oozie (v4.3.0) 流程，在我的一项工作中，我有多个输入和每个输入的多个映射器。这是它在 Driver 类中的样子：

但在 Oozie workflow.xml 中，根据this和this ，它可能看起来像：

但这对我不起作用，我收到错误

作业中未指定输入路径

UPD

job.properties：

我正在通过 oozie 运行一个 java 程序（不是 MR）。这是指一些本机库，我尝试设置以下

LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/tableau/

无论如何，我的程序似乎没有读取这些路径，我收到了错误

我有一个 shell 脚本（count.sh），它计算文件中的行数。此脚本已复制到 hdfs 中，目前正在使用 Oozie 工作流来执行此脚本。

但是，我想知道是否有办法从命令行执行这个 shell 脚本。

前任：

在 unix 中：[myuser@myserver ~]$./count.sh

当 count.sh 位于 hadoop 集群位置'/user/cloudera/myscripts/count.sh'时，等效于此。

我阅读了这个Hadoop 命令以在 hadoop 集群中运行 bash 脚本，但仍不清楚。

我有一个 oozie 协调器，它每 30 分钟运行一次。

但我想一次只运行一个实例。

（比如说，如果工作流需要超过 30 分钟才能完成，我不希望下一个计划的工作流在前一个完成之前开始运行）

我可以在 coordinator.xml 中设置一个配置属性来实现这一点吗？

我正在使用 Oozie 自动化 ETL，这涉及 100 多个步骤。我能够在开发集群中成功创建工作流。当我尝试使用 Hue 的导出和导入功能移动这个庞大的工作流时，问题就来了。我在导入工作流时遇到了一个奇怪的（请原谅我的无知）错误。出口运作良好。

提前致谢。

我按照这个说明在 hadoop 2.6.5 和 ubuntu 16.04 上安装了 oozie 4.3.1 和 oracle java 1.8.0。https://www.iamjrp.com/2017/installing-oozie/ 我有 3 个 hadoop 节点，一个主节点和两个从节点。我用这个例子来测试我的安装：https ://oozie.apache.org/docs/4.3.0/DG_Examples.html 由于此错误，工作流程未启动：2018-04-29 17:11:41,646 WARN ActionStartXCommand:523 - SERVER[hadoopmaster] USER[hduser] GROUP[-] TOKEN[] APP[shell-wf] JOB[0000000 -180429171130920-oozie-hdus-W] ACTION[0000000-180429171130920-oozie-hdus-W@shell-node] 错误启动操作 [shell-node]。ErrorType [ERROR], ErrorCode [UnsupportedOperationException], Message [UnsupportedOperationException: Accessing local file system is not allowed] org.apache.oozie.action.ActionExecutorException: UnsupportedOperationException: Accessing local file system is not allowed at org.apache.oozie.action. ActionExecutor.convertException(ActionExecutor.java:446) 在 org.apache.oozie.action.hadoop.JavaActionExecutor.submitLauncher(JavaActionExecutor.java:1204) 在 org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:

感谢您的帮助 ！

我是 oozie 的新手，并且有一个用例，我们需要在 oozie 操作中设置一个变量，并在不同的 oozie 操作中读取相同的变量。这项工作每周运行一次，在第一个动作中，我们计算的值很少，我们也喜欢在其他动作中使用相同的值，只是想知道 oozie 有规定可以做同样的事情吗？

我从 shell 操作中捕获了这个输出：

电子邮件操作在正文中使用此捕获的输出，如下所示：

但收到的电子邮件似乎被截断，只发送第一行而不是完整的字符串，例如：

如何确保完整的字符串是电子邮件正文的一部分？

谢谢！

我正在尝试从 oozie 运行 shell 脚本，当我在 shell 脚本中使用 hadoop 命令时，它工作正常，但是当我尝试运行本地命令时，我没有收到这样的文件或目录异常。例子：

这个脚本正在工作，当我使用 NFS 路径或本地路径时，我得到“没有这样的文件或目录”异常，例如：

有什么我遗漏的，请告诉我，'/HDFS' 是 NFS 路径。