hadoop - 失败的 Azkaban Spark 作业具有 Success 最终状态而不是 Failure

Question

用例：

1. Azkaban 开始 Spark 工作
2. 火花作业以某种方式失败

预期结果：

Hadoop ResourceManager 表示作业最终状态为 FAILED

实际结果：

Hadoop RM 说作业的最终状态是成功的

有人知道如何解决吗？

Answer 1

Spark 在默认（客户端）模式下运行。

作为解决方案模式已更改为集群。