我正在尝试创建 Ooize 协调器。问题是我已经有暂存数据等待使用 oozie 进行处理。
想象一下这样的情况。
当前日期是:01.03.2013(2013年3月1日)
我确实有这些输入目录:
/staging/landing/source/xvlr/2013/02/01/00(2013 年 2 月 1 日,一天的第一个小时) /staging/landing/source/xvlr/2013/02/01/01
/staging/landing/source/xvlr/2013/02/01/02
/staging/landing/source/xvlr/2013/02/01/03
/staging/landing/source/xvlr/2013/02/01/04
……
/登台/登陆/来源/xvlr/2013/02/28/00
...
/登台/登陆/来源/xvlr/2013/02/28/23
我希望我的 oozie 协调器使用所有以前创建的着陆数据并产生这样的输出:
/masterdata/source/xvlr/2013/02/01/00
/masterdata/source/xvlr/2013/02/01/01
/masterdata/source/xvlr/2013/02/01/02
/masterdata/source/xvlr/2013/02/01/03
/masterdata/source/xvlr/2013/02/01/04
....
/masterdata/source/xvlr/2013/02/28/00
...
/masterdata/source/xvlr/2013/02/28/23
然后我希望我的协调员每小时运行一次并为 masterdata 生成新的输出。
我如何使用协调器规范来做到这一点?这是我的协调员。它什么也不做。它确实达到了我需要的时间,然后等待。它不会开始工作。
请指教。
<coordinator-app name="Xvlr-parser-coordinator" frequency="60"
start="2013-03-07T05:35Z" end="2113-01-01T00:35Z" timezone="Europe/Moscow" xmlns="uri:oozie:coordinator:0.3">
<controls>
<timeout>5</timeout>
<concurrency>4</concurrency>
</controls>
<datasets>
<dataset name="xvlrInputDataset" frequency="${coord:hours(1)}" initial-instance="2013-03-07T05:35Z" timezone="Europe/Moscow">
<uri-template>${nameNode}/staging/landing/source/xvlr/${YEAR}/${MONTH}/${DAY}/${HOUR}</uri-template>
<done-flag></done-flag>
</dataset>
<dataset name="xvlrOutputDataset" frequency="${coord:hours(1)}" initial-instance="2013-03-07T05:35Z" timezone="Europe/Moscow">
<uri-template>${nameNode}/masterdata/source/xvlr/archive/${YEAR}/${MONTH}/${DAY}/${HOUR}</uri-template>
<done-flag></done-flag>
</dataset>
</datasets>
<input-events>
<data-in name="xvlrInputEvent" dataset="xvlrInputDataset">
<instance>${coord:current(0)}</instance>
</data-in>
</input-events>
<output-events>
<data-out name="xvlrOutputEvent" dataset="xvlrOutputDataset">
<instance>${coord:current(0)}</instance>
</data-out>
</output-events>
<action>
<workflow>
<app-path>${oozieAppHomeCatalog}/sub-workflows/Xvlr-parser-subworkflow.xml</app-path>
<configuration>
<property>
<name>inputDir</name>
<value>${coord:dataIn('xvlrInputEvent')}</value>
</property>
<property>
<name>outputDir</name>
<value>${coord:dataOut('xvlrOutputEvent')}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>