问题标签 [oozie-coordinator]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
4446 浏览

cloudera - 提交作业时出现 Oozie 空指针异常

只是尝试运行一个非常简单的字数统计示例,但在提交作业时得到以下空指针:

oozie 作业 -oozie= http://localhost:11000/oozie/ -config job.properties -run

这是我的工作属性文件:

有任何想法吗?它发生得很早,所以我认为它与 Oozie 或 namenode 有关。

0 投票
1 回答
1056 浏览

oozie - Oozie 工作流处理目录中的多个文件

用例:

我有一个协调器,它将一个包含多个文件的目录传递给一个工作流。该工作流具有以下节点:

问题:

协调器将目录名称传递给工作流。我想做以下事情:

请提出一种我可以做到这一点的方法。

下面是协调员:

LAST_ONLY

0 投票
1 回答
548 浏览

java - 从 java 中杀死一个 Oozie 工作流

所以我一直在玩 Oozie java api,一切都很好而且很花哨,直到我遇到了以下问题。在尝试运行以下 java 代码时:

这失败了,但有以下例外:

我已经能够在谷歌上找到一些相关的问题,尽管我注意到的问题只与命令行 oozie 客户端有关。

我的主要问题是,考虑到您可以作为另一个用户从 java 运行 Oozie 工作流,只需添加:

是否有类似的事情可以通过终止工作流来完成?

0 投票
2 回答
2472 浏览

hadoop - oozie 在 shell 脚本中运行 Sqoop 命令

我可以在脚本中编写一个 sqoop 导入命令并在 oozie 作为协调器工作流中执行它吗?

我已经厌倦了这样做,发现一个错误说找不到 sqoop 命令,即使我给出了 sqoop 执行的绝对路径

script.sh 如下

sqoop import --connect 'jdbc:sqlserver://xx.xx.xx.xx' -username=sa -password -table materials --fields-terminated-by '^' -- --schema dbo -target-dir /user/hadoop/CFFC/oozie_materials

我已将文件放在 HDFS 中,并为 oozie 提供了路径。工作流程如下:

oozie 返回错误,因为在 mapreduce 日志中找不到 sqoop 命令。

这是一个好习惯吗?

谢谢

0 投票
1 回答
559 浏览

oozie - 杀死所有过滤的 oozie 工作

如何杀死所有过滤的 oozie 工作?

例如,我想杀死所有 oozie 工作,下一个条件:

0 投票
0 回答
648 浏览

oozie - 如何将空参数传递给 oozie 协调器

我将变量 ${prefix} 传递给 oozie 协调器。对于测试,我想通过测试,对于生产,我想通过一个空字符串。我该如何做到这一点?

0 投票
1 回答
588 浏览

hadoop - 如何在 Oozie 中分叉操作

我有许多序列文件和要在每个文件上执行的操作工作流。所有文件的工作流程都相同,输入文件的数量可能会有所不同。我想使用 Oozie 中的 fork 机制在一堆输入文件(比如说 10 个文件)上并行执行工作流。如果输入文件的数量是固定的,我知道我应该执行多少工作流并且可以轻松地编写一个 fork,但由于它可能会有所不同,我不知道我应该如何编写我的 fork。对此有什么想法吗?

0 投票
0 回答
103 浏览

hadoop - 如何使用 apache Oozie java lib

我是 Apache Oozie 的新手。据我了解,我们可以使用工作流文件或协调器文件来定义动作工作流,它们都是 xml 格式,并将其提交给 Oozie 引擎。但是,还有一个 Oozie java 库,我想知道如何使用这个库?是否以编程方式生成 xml 文件并将它们提交给引擎?有人可以给我举个例子吗。

0 投票
2 回答
1538 浏览

hadoop - 如何在 Apache Oozie 中动态定义工作流?

我是 Apache Oozie 的新手,据我了解,工作流/协调器作业必须在 xml 文件中预定义。但是,在我的问题中,我需要动态定义工作流程,这取决于我的工作流程中可能有额外操作的输入文件。有没有办法以编程方式做到这一点?

0 投票
2 回答
3611 浏览

hadoop - 如何将参数传递给 Oozie 中的 mapreduce 作业

我有一个打包为 jar 文件 (mymapreduce.jar) 的 mapreduce 作业。运行时,它需要一些参数,例如hadoop jar mymapreduce.jar StartClass -i input -p parameter1 -u parameter2。如何将其写为 Oozie 工作流文件中的操作?