oozie - 带有异步数据集的 Oozie 协调器

Question

我们希望根据数据可用性安排工作流，但没有特定的数据到达频率。也可能有数据的多次重新运行，因此当天的数据的多个版本随时到达。

据我从规范中了解到，目前必须在协调器中指定频率参数。

但是，我们希望仅基于某些事件（数据到达或分区创建）触发我们的工作流，而不依赖于频率。

似乎这符合异步数据集的条件。Oozie 是否支持异步数据集？

Answer 1

频率参数是必需的，但您可以指定输入事件，如下所示：

<datasets>
    <dataset name="mydata" frequency="${coord:days(1)}" initial-instance="${initial_instance}" timezone="UTC">
        <uri-template>${hcat_uri}/${hcatDatabase}/${hcatTable}/dt=${YEAR}${MONTH}${DAY}</uri-template>
    </dataset>
</datasets>
<input-events>
    <data-in name="MYDATA_IN" dataset="mydata">
        <instance>${coord:current(0)}</instance>
    </data-in>
</input-events>

https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html#a6.1.4._Input_Events

所以定义一个相对较低的频率和一个有意义的单位，它将等待数据的可用性。为协调器指定超时可能是有意义的，小于频率：

<timeout>[TIME_PERIOD]</timeout>

或者您可以直接（无需协调器）协调（启动）您的工作流程，例如：一个 cronjob，但这一点都不好。