问题标签 [oozie-workflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
oozie-workflow - Oozie 多好
我有一个用例,在每次转换后都必须调用一个节点,而不管操作是失败还是成功。Oozie 不允许同一个节点有多个“ok to”。有没有办法达到同样的效果。
hadoop - 如何使用火花协调器获取每小时安排的火花作业的特定时间
我花了一天时间找出为什么我的协调员没有按预期工作,但仍然没有任何线索。
我想让 2 个 spark 作业分别运行,第二个作业取决于第一个作业。_SUCCESS
我已经完成了每小时生成文件的第一份工作。问题是当第二份工作找到它的依赖时,它出错了HOUR
。它总是00
在执行时间而不是小时。
这是第二个作业依赖项的 xml 部分示例
这是一些日志
请告诉我我做错了什么或我错过了什么。
谢谢
hive - Oozie 工作状态停留在 PREP
我正在尝试运行包含 sqoop 和 hive 作业的 oozie 工作流,但是在 Job 的运行状态变为 PREP 后,它转换为 START_RETRY,如图所示
我的 workflow.xml 文件是
我的 job.properties 文件是
我在Oozie 工作中发现了一个类似的问题,卡在 PREP 状态下的 START 操作中, 并尝试解决问题,但不知道该怎么做。
我知道我的 namenode 或 jobtracker 地址有问题。
我可以通过 localhost:50070 在浏览器中访问我的名称节点
一段时间后,作业因错误而暂停
提前致谢。
oozie-workflow - oozie 工作流包含 fork/join 与 decesion 节点
尝试运行上述 workflow.xml 时出现以下错误 从节点 [decesion-node] 到节点 [end] 的无效转换 - 在 Fork/Join 中不允许使用“end”类型的节点
我的用例是始终转换到无论作业是被杀死还是成功,postgre 操作一旦执行 postre 操作,如果任何操作失败,它应该去杀死节点,否则到结束节点。
hadoop - OOzie hive 脚本操作捕获输出到 locla 或 hdfs 上的文件
我有一个配置单元脚本,它是使用 oozie 触发的选择查询,如何配置 oozie 以将配置单元脚本的输出写入 hdfs 上的文件。
我不想使用 INSERT OVERWRITE 选项。
有没有一种简单的方法可以告诉 oozie 将输出保存到某某位置。
oozie - 所有动作的 Oozie 变量
有没有办法为工作流中的所有操作设置一个全局变量?我需要定义包含一个值的变量,然后在操作中修改相同的变量。
我试过了:
我想让动作修改值,然后在另一个动作中使用它。可能吗?现在我得到VARIABLE variable1 cannot be resolved
apache-spark - 在 oozie spark action 中获取 spark 变量
我是 spark 和 oozie 技术的新手。我试图从 spark 中获取一些变量,并在下一个 oozie 动作中使用它。
在“决策”节点中,将调用 spark submit 并完成少量处理并生成一个计数器变量
例如:var counter = 8 from spark
所以现在我需要在下一个 oozie 动作中使用这个变量,即“采取决策”节点。
当我用谷歌搜索时,我能找到一些解决方案
还有其他方法可以做到这一点吗?
hadoop - 连接 Oozie 服务器时出错:连接超时
我正在尝试在命令提示符下使用 oozie 运行 pig 程序,但出现类似错误
我正在运行这个命令
oozie - 如何使用 HUE 3.11 在 Oozie 中使用计数器循环工作流程?
我有一个工作流,它以一个接受数字参数的 shell 脚本节点开始,并使用此参数定向到不同的配置单元脚本。我如何循环这个工作流,以便它基于一个数字范围作为参数执行?
我现在要做的是在 GUI 中更改参数,执行,等待它完成,然后更改下一个数字的参数并再次重新运行。
java - Java + Spark + Oozie - 如何确保 Spark 作业在特定节点上执行
我们正在使用 Oozie 来安排 Spark 作业工作流。我们正在执行多个火花作业(在集群 YARN 上)。
其中一项工作是数据导入工作,我们将数据从 Linux 文件系统导入到 HDFS。
我们的问题是,当 oozie 调度作业时,集群中的任何节点都可以作为主节点工作,但数据仅存在于 node-1 上。
因此,我们要确保在运行 data-import-job 时始终将 node-1 作为主节点。
我们能做到这一点吗?
问候 Anuj Mehra