我所有的“已完成应用程序”在 Spark UI 中都处于“已完成”“状态”。即使我的“完成的驱动程序”处于失败的“状态”(因为在 scala 代码中我会System.exit(1)
在任何异常的情况下执行),其关联的“完成的应用程序”也处于已完成的“状态”。
我希望能够在 scala 代码中将我的应用程序的状态更改为失败状态。注意我知道如何更改驱动程序的状态,我不知道如何更改其应用程序的状态。任何建议如何实现这一目标?
我在独立模式下使用 Spark-1.6.1 和 Spark-2.1.0。我使用斯卡拉。