问题标签 [oozie-workflow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
217 浏览

oozie-workflow - Oozie 多好

我有一个用例,在每次转换后都必须调用一个节点,而不管操作是失败还是成功。Oozie 不允许同一个节点有多个“ok to”。有没有办法达到同样的效果。

0 投票
1 回答
652 浏览

hadoop - 如何使用火花协调器获取每小时安排的火花作业的特定时间

我花了一天时间找出为什么我的协调员没有按预期工作,但仍然没有任何线索。

我想让 2 个 spark 作业分别运行,第二个作业取决于第一个作业。_SUCCESS我已经完成了每小时生成文件的第一份工作。问题是当第二份工作找到它的依赖时,它出错了HOUR。它总是00在执行时间而不是小时。

这是第二个作业依赖项的 xml 部分示例

这是一些日志

请告诉我我做错了什么或我错过了什么。

谢谢

0 投票
0 回答
805 浏览

hive - Oozie 工作状态停留在 PREP

我正在尝试运行包含 sqoop 和 hive 作业的 oozie 工作流,但是在 Job 的运行状态变为 PREP 后,它转换为 START_RETRY,如图所示 在此处输入图像描述

我的 workflow.xml 文件是

我的 job.properties 文件是

我在Oozie 工作中发现了一个类似的问题,卡在 PREP 状态下的 START 操作中, 并尝试解决问题,但不知道该怎么做。

我知道我的 namenode 或 jobtracker 地址有问题。

我可以通过 localhost:50070 在浏览器中访问我的名称节点

一段时间后,作业因错误而暂停

提前致谢。

0 投票
1 回答
982 浏览

oozie-workflow - oozie 工作流包含 fork/join 与 decesion 节点

尝试运行上述 workflow.xml 时出现以下错误 从节点 [decesion-node] 到节点 [end] 的无效转换 - 在 Fork/Join 中不允许使用“end”类型的节点
我的用例是始终转换到无论作业是被杀死还是成功,postgre 操作一旦执行 postre 操作,如果任何操作失败,它应该去杀死节点,否则到结束节点。

0 投票
0 回答
667 浏览

hadoop - OOzie hive 脚本操作捕获输出到 locla 或 hdfs 上的文件

我有一个配置单元脚本,它是使用 oozie 触发的选择查询,如何配置 oozie 以将配置单元脚本的输出写入 hdfs 上的文件。

我不想使用 INSERT OVERWRITE 选项。

有没有一种简单的方法可以告诉 oozie 将输出保存到某某位置。

0 投票
1 回答
474 浏览

oozie - 所有动作的 Oozie 变量

有没有办法为工作流中的所有操作设置一个全局变量?我需要定义包含一个值的变量,然后在操作中修改相同的变量。

我试过了:

我想让动作修改值,然后在另一个动作中使用它。可能吗?现在我得到VARIABLE variable1 cannot be resolved

0 投票
1 回答
302 浏览

apache-spark - 在 oozie spark action 中获取 spark 变量

我是 spark 和 oozie 技术的新手。我试图从 spark 中获取一些变量,并在下一个 oozie 动作中使用它。

在“决策”节点中,将调用 spark submit 并完成少量处理并生成一个计数器变量

例如:var counter = 8 from spark

所以现在我需要在下一个 oozie 动作中使用这个变量,即“采取决策”节点。

当我用谷歌搜索时,我能找到一些解决方案

还有其他方法可以做到这一点吗?

0 投票
0 回答
956 浏览

hadoop - 连接 Oozie 服务器时出错:连接超时

我正在尝试在命令提示符下使用 oozie 运行 pig 程序,但出现类似错误

我正在运行这个命令

0 投票
1 回答
529 浏览

oozie - 如何使用 HUE 3.11 在 Oozie 中使用计数器循环工作流程?

我有一个工作流,它以一个接受数字参数的 shell 脚本节点开始,并使用此参数定向到不同的配置单元脚本。我如何循环这个工作流,以便它基于一个数字范围作为参数执行?

我现在要做的是在 GUI 中更改参数,执行,等待它完成,然后更改下一个数字的参数并再次重新运行。

0 投票
0 回答
211 浏览

java - Java + Spark + Oozie - 如何确保 Spark 作业在特定节点上执行

我们正在使用 Oozie 来安排 Spark 作业工作流。我们正在执行多个火花作业(在集群 YARN 上)。

其中一项工作是数据导入工作,我们将数据从 Linux 文件系统导入到 HDFS。

我们的问题是,当 oozie 调度作业时,集群中的任何节点都可以作为主节点工作,但数据仅存在于 node-1 上。

因此,我们要确保在运行 data-import-job 时始终将 node-1 作为主节点。

我们能做到这一点吗?

问候 Anuj Mehra