问题标签 [oozie-coordinator]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
13471 浏览

hadoop - Oozie 卡在 PREP 状态

我在运行 oozie 协调器作业时遇到问题。下面是我的工作属性和 xml 文件代码。提交作业时没有错误,但作业始终处于“准备”状态。在一定程度的等待后,我必须手动终止工作。单独执行工作流作业时,已成功完成。

你能告诉我我的协调工作有什么问题吗?

这是我的 coordinator.xml

协调器.xml

这是我的 coordinatorjob.properties

coordinatorjob.properties

谢谢,

卡莱

0 投票
2 回答
404 浏览

java - 如何为历史日期运行 oozie?

我正在尝试为历史日期运行 oozie 协调器,例如

Oozie 应该立即开始/实现这些天的所有行动

但不是 Oozie 每天生成/执行一个动作,我必须等待 43 天才能看到结果。有什么办法可以立即执行这些操作?

0 投票
2 回答
1591 浏览

oozie - 使用 Invoke-RestMethod 将 Oozie 作业提交到 HDInsight 时出现“语法不正确”错误

Invoke-RestMethod : HTTP Status 400 - type 状态报告消息描述 客户端发送的请求在语法上不正确。

0 投票
1 回答
334 浏览

hadoop - 使用 sqoop 的 Oozie 工作流

我在我的系统中使用 Hadoop 1.2.1 设置了 oozie 4.0.0

我的目标是在 oozie 中编写 sqoop 作业。当我在 Google 上搜索并获得以下链接时:-

http://rvs.github.io/oozie/installing.html

http://srikanthayalasomayajulu.blogspot.sg/2013/02/apache-oozie-331-installation-on-apache.html

www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html

所有链接都非常好。

我面临的问题是当我运行我的工作时。它给出了以下异常:-

JA009:java.io.IOException:任务跟踪器的未知协议:在 sun.reflect.NativeMethodAccessorImpl.invoke0 的 org.apache.hadoop.mapred.TaskTracker.getProtocolVersion(TaskTracker.java:763) 的 org.apache.hadoop.mapred.JobSubmissionProtocol (本机方法)在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:622 ) 在 org.apache.hadoop

我可以访问

TaskTracker at : localhost:50060 -> 它显示 'localhost/127.0.0.1:45162'

NameNode at : localhost:50030 -> 它显示 Name Node 'localhost:54310'

在我的 job.properties 中,我分别为 tasktracker 和 namenode 提供了 45162 和 54310 端口。

除了 apache 库代码本身,我在 google 上找不到这个异常。

请帮助我,我被困在这里。

0 投票
2 回答
74 浏览

hadoop - 在 Oozie 中可以实现这种类型的工作流程吗?

在 Oozie 中可以实现这种类型的工作流程吗?

或有关如何在 oozie 中执行此类操作的任何建议

请看附图

http://s7.postimg.org/yj30wb0mj/oozie_Workflow.jpg

Task3 一次只能由一个工作流运行,其他工作流需要等待。

Task3 是 ssh 操作,一次只有一个人需要访问该机器。

0 投票
1 回答
410 浏览

oozie - 如何在oozie中找到一份工作所花费的总时间

是否有我可以使用的 oozie coomandline 或其他方式来确定通过协调器提交的 oozie 作业的开始和结束时间?

0 投票
2 回答
14873 浏览

date - oozie 创建一个带有今天日期的参数

如何使用格式的今天日期创建参数:

在oozie。我将此变量传递给 hive 脚本,该脚本正在为该日期添加分区,我找到了创建时间戳的函数:

它应该以以下形式返回输出:

但我收到错误:

另外我只想要YYYY-MM-DD时间戳,并且没有子字符串函数也可以给我字符串的前 10 个字符。

0 投票
1 回答
330 浏览

oozie - Oozie:在某个时间或某个频率运行,以先到者为准

按绝对时间进行协调的好处是(只要工作花费一致的时间)输出将在某个时间为其他人准备好(例如,在夜间更新仪表板以供人们在早上查看)。

按相对频率进行协调的好处是,如果 oozie(或它的服务器)停机,则不会跳过任何作业(例如,每日作业可能会延迟 2 小时,但不会延迟 22 小时)。

我该怎么做:

即当一切顺利时,作业每天晚上 9 点运行。如果 oozie 在晚上 8 点到 10 点之间发生了一些事情(例如服务器滚动),一旦 oozie 在晚上 10 点恢复,作业应该在晚上 10 点运行,然后在明天晚上 9 点正常运行。

https://github.com/yahoo/oozie/wiki/Oozie-Coord-Use-Cases

0 投票
1 回答
2968 浏览

apache-pig - Oozie 协调器配置属性

在工作流的参数标签中看不到协调器作业中指定的配置属性。

协调员:

工作流程:

我得到的是“EL_ERROR”,变量 OUTPUT_COORD 无法解析。

可能是什么问题呢?

0 投票
1 回答
1544 浏览

hadoop - FNF:无法执行 ssh-base.sh

尝试运行 Oozie 工作流,但不断收到以下错误消息:

org.apache.oozie.action.ActionExecutorException:FNF:无法在用户名@服务器名上执行 ssh-base.sh | 错误流:************************************************ ************************ 本机是xyz的财产....

(注意:我已经设置了无密码访问。如果我手动运行这些步骤,它可以工作,但是当我通过 Oozie 运行时它不会。换句话说,我可以作为用户 'oozie' 登录到机器,然后 ssh用户名@服务器名(不输入密码)然后运行“命令”。这有效,但 Oozie 工作流程不)

这是我的工作流.xml