问题标签 [oozie-coordinator]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
617 浏览

java - 如何使用 hadoop.mapreduce.lib.output.MultipleOutputs 使用 oozie 工作流创建目录结构?

我正在使用工作流运行我的 MR 作业:0.5"。我的用例是为输出创建基于键的目录结构。这是我的配置文件:-

在 reducer 中,我想使用此代码创建格式化的目录结构-

`

oozie 工作流程给出了这个例外

java.lang.NoSuchMethodException: org.apache.hadoop.mapreduce.lib.output.MultipleOutputs.<\init>()

有人可以建议使用 MultipleOutputs 使用 oozie 工作流创建目录结构的正确方法吗?

0 投票
3 回答
7703 浏览

oozie - 具有多个工作流程的 Oozie 协调器

我有三个工作流 XML 文件,例如 WF1 WF2 WF3。我可以将所有这些工作流程链接到一个协调员中以执行以下操作吗?WF1 是时间相关 WF2 是文件相关性 WF3 是无任何相关性。

0 投票
2 回答
2004 浏览

oozie - 如何在 oozie 工作流 xml 中创建可选的命令行参数

请记住,我是一个完整的 oozie 菜鸟。我知道可以使用 arg 标签在 oozie 工作流 xml 中指定命令行参数。我想知道如何指定一个可选的命令行参数,这样如果用户没有指定,oozie 就不会抱怨缺少必需的参数?

提前谢谢了。如果我提供的信息不够具体,我可以在明天登录我的工作机器时提供一个具体的例子。我们使用 apache commons CLI 选项来解析选项。

例如,我想将以下参数设为可选:

-e${结束日期时间}

0 投票
1 回答
2705 浏览

oozie - Oozie 中的文件观察器

场景: 输入文件:file1.log、file2.log

我只想在存在上述 2 个输入文件时触发协调器。是否可以作为文件观察者?

提前致谢。

0 投票
1 回答
1641 浏览

date - Oozie 协调器开始日期设置为实际日期

有没有办法将协调员的开始日期设置为实际日期?每次我想运行我的协调器时,我都必须手动设置协调器作业的开始日期:

我想使用某种变量来为我运行协调器的日期设置这个日期:

如何设置实际时间做 sysdate?我尝试使用 EL 函数 timestamp() 但它不起作用,或者我用错了。也许有办法在 .properties 文件中设置任何变量?

0 投票
1 回答
4721 浏览

oozie - 以 sysdate 作为开始时间的 Oozie 协调器

我想运行 oozie 协调器,开始时间为 sysdate。我怎么做?
是否可以将 sysdate 作为开始日期?它会赶上吗?

0 投票
2 回答
1410 浏览

hadoop - 如何在最后获得 oozie 工作流持续时间

有没有办法通过完成电子邮件通过电子邮件发送工作流程的持续时间?有没有我可以使用的变量?

0 投票
1 回答
749 浏览

oozie - oozie-error-message:E0803:IO 错误,E0808:不允许的用户属性 [user.name]

在帖子消息中,我有一个属性 user.name 并且 oozie 响应如下:

oozie-error-message:E0803:IO 错误,E0808:不允许的用户属性 [user.name]

当我删除该属性时,它会给出以下错误消息:oozie-error-message: E0401: Missing configuration property [user.name]

它看起来很疯狂,不确定它想要什么。最终我需要在 POST 请求中传递这个属性。

0 投票
1 回答
595 浏览

hadoop - 如何将 oozie 服务器日志获取到客户端计算机


要求:我们需要在客户端日志目录中维护 Oozie 服务器日志
从命令行提交并运行 oozie 作业后,我们可以通过指定子命令 -log 来查看作业日志

我们如何将这些日志移动到目录中的 oozie.log 中。根据文档,我们可以指定 java 属性 -Doozie.log.dir 如下

但它没有在目录中创建任何日志。

提前致谢,

0 投票
2 回答
4238 浏览

java - 在 OOZIE-4.1.0 中运行多个工作流时出错

我按照http://gauravkohli.com/2014/08/26/apache-oozie-installation-on-hadoop-2-4-1/上的步骤在 Linux 机器上 安装了oozie 4.1.0

集群设置 -

主节点运行- 名称节点,资源管理器,代理服务器。

从节点运行-Datanode,Nodemanager。

当我运行单个工作流作业时意味着它成功了。但是当我尝试运行多个工作流作业时,即两个作业都处于接受状态 在此处输入图像描述

检查错误日志,我将问题深入分析为,

在上述正在运行的作业中,如果我手动终止任何一个启动器作业,则(hadoop job -kill <launcher-job-id>)意味着所有作业都会成功。所以我认为问题是不止一个启动器作业同时运行意味着作业会遇到死锁..

如果有人知道上述问题的原因和解决方案。请尽快帮我一个忙。