问题标签 [oozie-coordinator]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
cloudera - 提交作业时出现 Oozie 空指针异常
只是尝试运行一个非常简单的字数统计示例,但在提交作业时得到以下空指针:
oozie 作业 -oozie= http://localhost:11000/oozie/ -config job.properties -run
这是我的工作属性文件:
有任何想法吗?它发生得很早,所以我认为它与 Oozie 或 namenode 有关。
oozie - Oozie 工作流处理目录中的多个文件
用例:
我有一个协调器,它将一个包含多个文件的目录传递给一个工作流。该工作流具有以下节点:
问题:
协调器将目录名称传递给工作流。我想做以下事情:
请提出一种我可以做到这一点的方法。
下面是协调员:
LAST_ONLY
java - 从 java 中杀死一个 Oozie 工作流
所以我一直在玩 Oozie java api,一切都很好而且很花哨,直到我遇到了以下问题。在尝试运行以下 java 代码时:
这失败了,但有以下例外:
我已经能够在谷歌上找到一些相关的问题,尽管我注意到的问题只与命令行 oozie 客户端有关。
我的主要问题是,考虑到您可以作为另一个用户从 java 运行 Oozie 工作流,只需添加:
是否有类似的事情可以通过终止工作流来完成?
hadoop - oozie 在 shell 脚本中运行 Sqoop 命令
我可以在脚本中编写一个 sqoop 导入命令并在 oozie 作为协调器工作流中执行它吗?
我已经厌倦了这样做,发现一个错误说找不到 sqoop 命令,即使我给出了 sqoop 执行的绝对路径
script.sh 如下
sqoop import --connect 'jdbc:sqlserver://xx.xx.xx.xx' -username=sa -password -table materials --fields-terminated-by '^' -- --schema dbo -target-dir /user/hadoop/CFFC/oozie_materials
我已将文件放在 HDFS 中,并为 oozie 提供了路径。工作流程如下:
oozie 返回错误,因为在 mapreduce 日志中找不到 sqoop 命令。
这是一个好习惯吗?
谢谢
oozie - 杀死所有过滤的 oozie 工作
如何杀死所有过滤的 oozie 工作?
例如,我想杀死所有 oozie 工作,下一个条件:
oozie - 如何将空参数传递给 oozie 协调器
我将变量 ${prefix} 传递给 oozie 协调器。对于测试,我想通过测试,对于生产,我想通过一个空字符串。我该如何做到这一点?
hadoop - 如何在 Oozie 中分叉操作
我有许多序列文件和要在每个文件上执行的操作工作流。所有文件的工作流程都相同,输入文件的数量可能会有所不同。我想使用 Oozie 中的 fork 机制在一堆输入文件(比如说 10 个文件)上并行执行工作流。如果输入文件的数量是固定的,我知道我应该执行多少工作流并且可以轻松地编写一个 fork,但由于它可能会有所不同,我不知道我应该如何编写我的 fork。对此有什么想法吗?
hadoop - 如何使用 apache Oozie java lib
我是 Apache Oozie 的新手。据我了解,我们可以使用工作流文件或协调器文件来定义动作工作流,它们都是 xml 格式,并将其提交给 Oozie 引擎。但是,还有一个 Oozie java 库,我想知道如何使用这个库?是否以编程方式生成 xml 文件并将它们提交给引擎?有人可以给我举个例子吗。
hadoop - 如何在 Apache Oozie 中动态定义工作流?
我是 Apache Oozie 的新手,据我了解,工作流/协调器作业必须在 xml 文件中预定义。但是,在我的问题中,我需要动态定义工作流程,这取决于我的工作流程中可能有额外操作的输入文件。有没有办法以编程方式做到这一点?
hadoop - 如何将参数传递给 Oozie 中的 mapreduce 作业
我有一个打包为 jar 文件 (mymapreduce.jar) 的 mapreduce 作业。运行时,它需要一些参数,例如hadoop jar mymapreduce.jar StartClass -i input -p parameter1 -u parameter2。如何将其写为 Oozie 工作流文件中的操作?