hadoop - 如何在 Oozie 中分叉操作

Question

我有许多序列文件和要在每个文件上执行的操作工作流。所有文件的工作流程都相同，输入文件的数量可能会有所不同。我想使用 Oozie 中的 fork 机制在一堆输入文件（比如说 10 个文件）上并行执行工作流。如果输入文件的数量是固定的，我知道我应该执行多少工作流并且可以轻松地编写一个 fork，但由于它可能会有所不同，我不知道我应该如何编写我的 fork。对此有什么想法吗？

Answer 1

您可以编写 java oozie 客户端，它将接受文件数量作为参数，并让多个工作流并行调用，并在所有工作流执行成功时返回。否则，您可能必须以编程方式生成具有所需数量的 fork 分支的工作流。