有没有人知道可以并行执行的 oozie 工作流的最大限制是多少?
我正在并行运行 35 个工作流(或者这就是 oozie UI 提到的,它们都是并行启动的)。所有子工作流都执行从本地到 HDFS 的文件摄取,并在此后对文件的元数据进行一些验证检查。就那么简单。
但是,我看到一些子工作流在执行过程中失败了;他们失败的步骤尝试将文件放入 HDFS 位置,即进程无法执行hdfs dfs -put
命令。但是,当我重新运行这些子工作流时,它们会成功运行。
不知道是什么导致他们执行和失败hdfs dfs -put
。
关于可能发生的事情的任何线索/建议?