问题标签 [oozie-coordinator]

我不确定是否将好工具用于我想要的。

我有很多可以依赖或不依赖的工作流程。

例子：

1. /工作流1
   • /workflow.xml
   • /job.properties
2. /工作流2
   • /workflow.xml
   • /job.properties
3. ……

我认为我们可以有一个协调器，它可以启动（带有一些数据条件）所有工作流。但我开始认为这不是好的做法。

我们是否应该在每个工作流中拥有一个具有所有执行条件的协调器 + 一个启动所有协调器的捆绑包？像那样 ：

1. /wf1
   • /workflow.xml
   • /job.properties
   • /协调器.xml
2. /wf2
   • /workflow.xml
   • /job.properties
   • /协调器.xml
3. /bundle.xml

或者一位协调员可以启动所有工作流程（他们可以依赖或不依赖）？

1. /wf1
   • /workflow.xml
   • /job.properties
2. /wf2
   • /workflow.xml
   • /job.properties
3. /协调器.xml

执行以下命令时出错。

错误：E0505：E0505：应用程序定义 [hdfs://localhost:8020/tmp/oozie-app/coordinator/] 不存在

有什么建议么。

我正在使用 Oozie 协调器和 Web 控制台来跟踪它们。为了找到我的工作，我通常使用过滤器

用户=XXX；状态=正在运行

我知道这对命令行“-filter”也有效（见这里）

但是在某些情况下，我想使用条件 status(not equal)killed

这可能吗？对应的语法是什么？

我正在尝试在 oozie-coordinator xml 的标记中使用 oozie 提供的内置或 EL 函数，但似乎不支持它？有谁知道任何其他方式来声明这一点？

我们的完成标志中有日期。

启动 oozie 协调器工作流时出现以下错误。

有谁知道实现动态完成标志名称的方法？

我正在尝试通过 oozie 作业运行 wordcount 程序。
当我像 .It 一样手动运行 wordcout jar 时hadoop jar wordcoutjar /data.txt /out ，它运行良好并给我输出。
这是我的 wordcount 程序的映射器代码的详细信息。

当我通过 oozie job 执行它时，错误如下：

我的 pom.xml 是这样的。

我想知道是否有可能/如何强制协调员定期实现或实例化工作流，即使之前实例化的工作流尚未完成。

让我解释一下：我有一个简单的协调器，如下所示：

频率设置为 3 小时。每 3 小时，我希望协调员“实现”一个新的工作流实例/作业。

这是我的问题：当工作流执行持续超过 3 小时时，协调器不会实现新的工作流实例，而是等待当前正在运行的工作流首先完成。然后它将实例化下一个工作流。如果协调器启动的工作流持续时间超过频率，则它们会排队。

无论如何，如何让协调员每 3 小时开始一份新工作？谢谢

我有一个按日期分区的 Hive 表（例如 20150730）

此外，我创建了一个配置单元查询，它使用今天的分区日期和最近的分区日期，而不必是昨天。（例如 20150730 和 20150728）

我想每天使用 oozie 执行这个 hive 查询，但是如何才能找到之前的分区日期呢？（同样之前的比例日期是不可预测的）

错误日志

Pom.xml 文件

https://drive.google.com/open?id=1QGf0xu6eeNp3HGsbu_0IxCBc0LusQ5sPNisIb0EzDQU

在任何地方都找不到线程。卡在这里很久了。

我设置了一个 Oozie java 操作工作流，我计划使用 Oozie 协调器来安排它。java 操作运行一个 Camus 作业，我已将其 jar 和属性配置文件放在工作流/lib 目录中。关于如何将 -P 参数传递给此的任何想法？目前，我正在做这样的事情：

camusJobProperties 的样子

但工作流程似乎没有运行（卡在 PREP 上）。任何想法如何解决这一问题？

谢谢！

编辑：更正我的 nameNode URL 后，我可以看到我收到以下错误：

所以基本上我的问题是，当属性文件位于 HDFS 中（特别是在工作流/lib 目录中）时，我将如何传递属性文件参数

我注意到，如果我在当前时间之前以许多“迭代”（就频率而言）的开始时间启动 Oozie 协调器，那么协调器将按顺序运行工作流几次，而忽略分配的频率。但是，对我来说，工作流/操作以指定的频率自行运行比工作流/操作在给定点运行正确的次数更为重要。

有什么办法可以避免这种行为？一种方法显然是确保开始时间在迭代时间内是正确的（有没有办法让它自动占用开始时间？）。另一种方法是对其进行配置以完全避免这种行为，并且基本上在下一次应该给出开始时间和频率的时候运行。