问题标签 [oozie-coordinator]

Oozie 是一个工作流/协调引擎，用于编排 Hadoop 作业，其中 Oozie 工作流作业是动作的有向无环图 (DAG)。

还有哪些其他类似 Oozile 的工作流引擎来管理集群上的作业链？

是否有一个通用的 Oozile 之类的工作流引擎，它能够通过插件或其他东西编排任何集群的作业？

我有几个关于 oozie 2.3 共享库的问题：

目前，我在 coordinator.properties 中定义了共享库：

以下是我的问题：

1. 当共享库被复制到其他数据节点时，有多少数据节点将获得共享库？

2. 共享库是根据协调器作业中的 wf 数量复制到其他数据节点，还是每个协调器作业只复制一次？

我正在尝试使用协调器运行工作流，但是当我尝试将工作流和协调器 XML 文件路径设置在一起时，出现错误。这就是我的 jobs.properties 文件的样子：

当我使用命令行运行我的工作流程时：

我收到以下错误：

我究竟做错了什么？

谢谢！

作为 cloudera 安装的一部分，我安装了 oozie。我正在尝试使用 coordinator.xml 中的以下配置执行示例中的协调器工作流。

使用这种配置，我希望工作流每 1 小时执行一次，但似乎工作流每 5 分钟执行一次，有人回答这个问题吗？

我不明白 Ozzie 中输出事件的用途是什么。Ozzie 文档指出“协调器操作可以生成一个或多个数据集实例作为输出”，但它没有提供任何实际细节或示例。生成数据集实例作为输出是什么意思？这是否意味着 Ozzie 将通过数据集的 URI 模板创建一个文件夹作为输出？我真的不明白为什么要使用输出事件...

谢谢！

我在 Oozie 有一个协调员的工作。它使用 java 操作节点调用工作流。

如果我只提交一次这份工作，那么它就可以完美运行。但是，如果我以相同的开始和结束时间提交此作业两次，但主类的 arg1 不同，则两个作业实例都挂在“RUNNING”状态，日志如下所示：

如果我杀死其中一个工作，那么另一个工作就会重新开始运行。

该文档指出，可以使用不同的参数提交同一协调器作业的多个实例：http: //archive.cloudera.com/cdh/3/oozie/CoordinatorFunctionalSpec.html#a6.3._Synchronous_Coordinator_Application_Definition

“并发：该作业可以同时运行的最大操作数。该值允许实现和提交协调器应用程序的多个实例，并允许操作赶上延迟处理。默认值为 1 。”

那么我做错了什么？我什至看到来自同一个作业的两个工作流操作实例处于“运行”状态，一旦另一个作业被终止，它就可以正常运行。

在我的 oozie coordinator.xml 中，我不想指定结束时间。有没有办法做到这一点。

协调器.xml

我如何安排 oozie 协调器仅在昨天的数据集输入可用后才运行今天的实例。它只需要检查一个输入数据集，该数据集必须是旧数据集，例如 1 天前或 2 天前的数据集。它不必等待今天的数据集输入。

我尝试过使用类似下面的东西，在这里我在实例标签中使用了 ${coord:current(-1)} 以便它可以检查昨天的数据，但这似乎不起作用。即使信号在昨天的日期不可用，作业也会在标称时间被解雇。

我刚刚开始使用 Oozie。希望这里有人可以提供一些有用的建议。

这是 coordinator.xml 的片段

我的问题将涉及的部分在标签内。它们通常用以下形式表示："...revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}..."

这部分可以用WEEK表示吗？即下面表格代表中的最后一列。

问题的原因是我们的日期表有一个名为“iso_week”的字段列（例如28，或其对应的日期范围是 2013 年 7 月 8 日 - 7 月 14 日）。它如下所示：

我希望这足够清楚，否则，请让我知道我还能如何更清楚。

我想为历史日期运行 oozie 协调器，并将日期作为参数传递给工作流中的脚本。我怎么做？

我可以将开始日期设置为旧日期吗？它会赶上吗？以及我应该添加什么频率。