hadoop - oozie 工作流程的最大限制

Question

有没有人知道可以并行执行的 oozie 工作流的最大限制是多少？

我正在并行运行 35 个工作流（或者这就是 oozie UI 提到的，它们都是并行启动的）。所有子工作流都执行从本地到 HDFS 的文件摄取，并在此后对文件的元数据进行一些验证检查。就那么简单。

但是，我看到一些子工作流在执行过程中失败了；他们失败的步骤尝试将文件放入 HDFS 位置，即进程无法执行hdfs dfs -put命令。但是，当我重新运行这些子工作流时，它们会成功运行。

不知道是什么导致他们执行和失败hdfs dfs -put。

关于可能发生的事情的任何线索/建议？

Answer 1

第一个限制不取决于 Oozie，而是取决于 YARN 中可用于执行 Oozie 操作的资源，因为每个操作都在一个映射中执行。但是这个限制不会让你的工作流程失败：他们只会等待资源。

我们面临的导致麻烦的主要限制是 oozie 服务的可调用队列。有时，在大量协调员提交大量工作流造成的繁重负载下，Oozie 在处理其内部可调用队列而不是运行工作流时浪费了更多时间：/ 检查 oozie.service.CallableQueueService 设置以获取有关此信息。