hadoop - Oozie 工作流程中的多个 JAVA 操作

Question

我阅读了无法在工作流中创建循环的文档，但我需要每次使用列表项单独调用 main 方法 - 因此需要创建一个循环。

一种解决方案是使用子工作流再次调用工作流。

有没有其他解决方案？喜欢使用协调员工作吗？

Answer 1

我能想到的一些可能的“黑客”解决方案：

• 如您所说，创建一个自定义 Java 操作，该操作使用 Oozie 客户端 API 运行多个工作流（列表中的每个项目一个）。然后，您可以并行或串行运行这些项目并轮询成功/失败。
• 与上述类似的另一种选择是使用一些模板语言，如 Apache Velocity，并让您的自定义操作采用模板并展开它（动态生成工作流 xml 文件），然后再次使用 Oozie 客户端 API 运行生成的工作流程。

我更喜欢第二种选择，因为您可以制定通用解决方案。