问题标签 [oozie-coordinator]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Oozie 卡在 PREP 状态
我在运行 oozie 协调器作业时遇到问题。下面是我的工作属性和 xml 文件代码。提交作业时没有错误,但作业始终处于“准备”状态。在一定程度的等待后,我必须手动终止工作。单独执行工作流作业时,已成功完成。
你能告诉我我的协调工作有什么问题吗?
这是我的 coordinator.xml
这是我的 coordinatorjob.properties
谢谢,
卡莱
java - 如何为历史日期运行 oozie?
我正在尝试为历史日期运行 oozie 协调器,例如
Oozie 应该立即开始/实现这些天的所有行动
但不是 Oozie 每天生成/执行一个动作,我必须等待 43 天才能看到结果。有什么办法可以立即执行这些操作?
oozie - 使用 Invoke-RestMethod 将 Oozie 作业提交到 HDInsight 时出现“语法不正确”错误
Invoke-RestMethod : HTTP Status 400 - type 状态报告消息描述 客户端发送的请求在语法上不正确。
hadoop - 使用 sqoop 的 Oozie 工作流
我在我的系统中使用 Hadoop 1.2.1 设置了 oozie 4.0.0
我的目标是在 oozie 中编写 sqoop 作业。当我在 Google 上搜索并获得以下链接时:-
http://rvs.github.io/oozie/installing.html
http://srikanthayalasomayajulu.blogspot.sg/2013/02/apache-oozie-331-installation-on-apache.html
www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html
所有链接都非常好。
我面临的问题是当我运行我的工作时。它给出了以下异常:-
JA009:java.io.IOException:任务跟踪器的未知协议:在 sun.reflect.NativeMethodAccessorImpl.invoke0 的 org.apache.hadoop.mapred.TaskTracker.getProtocolVersion(TaskTracker.java:763) 的 org.apache.hadoop.mapred.JobSubmissionProtocol (本机方法)在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:622 ) 在 org.apache.hadoop
我可以访问
TaskTracker at : localhost:50060 -> 它显示 'localhost/127.0.0.1:45162'
NameNode at : localhost:50030 -> 它显示 Name Node 'localhost:54310'
在我的 job.properties 中,我分别为 tasktracker 和 namenode 提供了 45162 和 54310 端口。
除了 apache 库代码本身,我在 google 上找不到这个异常。
请帮助我,我被困在这里。
hadoop - 在 Oozie 中可以实现这种类型的工作流程吗?
在 Oozie 中可以实现这种类型的工作流程吗?
或有关如何在 oozie 中执行此类操作的任何建议
请看附图
http://s7.postimg.org/yj30wb0mj/oozie_Workflow.jpg
Task3 一次只能由一个工作流运行,其他工作流需要等待。
Task3 是 ssh 操作,一次只有一个人需要访问该机器。
oozie - 如何在oozie中找到一份工作所花费的总时间
是否有我可以使用的 oozie coomandline 或其他方式来确定通过协调器提交的 oozie 作业的开始和结束时间?
date - oozie 创建一个带有今天日期的参数
如何使用格式的今天日期创建参数:
在oozie。我将此变量传递给 hive 脚本,该脚本正在为该日期添加分区,我找到了创建时间戳的函数:
它应该以以下形式返回输出:
但我收到错误:
另外我只想要YYYY-MM-DD
时间戳,并且没有子字符串函数也可以给我字符串的前 10 个字符。
oozie - Oozie:在某个时间或某个频率运行,以先到者为准
按绝对时间进行协调的好处是(只要工作花费一致的时间)输出将在某个时间为其他人准备好(例如,在夜间更新仪表板以供人们在早上查看)。
按相对频率进行协调的好处是,如果 oozie(或它的服务器)停机,则不会跳过任何作业(例如,每日作业可能会延迟 2 小时,但不会延迟 22 小时)。
我该怎么做:
即当一切顺利时,作业每天晚上 9 点运行。如果 oozie 在晚上 8 点到 10 点之间发生了一些事情(例如服务器滚动),一旦 oozie 在晚上 10 点恢复,作业应该在晚上 10 点运行,然后在明天晚上 9 点正常运行。
apache-pig - Oozie 协调器配置属性
在工作流的参数标签中看不到协调器作业中指定的配置属性。
协调员:
工作流程:
我得到的是“EL_ERROR”,变量 OUTPUT_COORD 无法解析。
可能是什么问题呢?
hadoop - FNF:无法执行 ssh-base.sh
尝试运行 Oozie 工作流,但不断收到以下错误消息:
org.apache.oozie.action.ActionExecutorException:FNF:无法在用户名@服务器名上执行 ssh-base.sh | 错误流:************************************************ ************************ 本机是xyz的财产....
(注意:我已经设置了无密码访问。如果我手动运行这些步骤,它可以工作,但是当我通过 Oozie 运行时它不会。换句话说,我可以作为用户 'oozie' 登录到机器,然后 ssh用户名@服务器名(不输入密码)然后运行“命令”。这有效,但 Oozie 工作流程不)
这是我的工作流.xml