1

当我试图杀死从 oozie 作业调用的 spark 作业时，它并没有被杀死。它只是显示工作流作业已被终止。然后我从这个命令检查了工作流日志

oozie job --ozie oozieurl -log workflowID

它在日志中显示此错误。

org.apache.oozie.command.CommandException: E0800: Action it is not running its in [KILLED] state, action [0006849-180819131048313-oozie-oozi-W@MysparkApplication]
        at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92)
        at org.apache.oozie.command.XCommand.call(XCommand.java:258)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:178)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

我做错了什么还是我们无法杀死从 oozie 协调器的纱线中启动的 spark 应用程序的限制。

4

1 回答 1

0

Oozie 协调器运行具有特定时间表的 oozie 工作流。当协调器调用 oozie 工作流时，它会在集群上提交 spark 作业。

这里的 coordinator 和 oozie 工作流只跟踪作业，即作业是运行还是终止等。

现在，如果您终止 oozie 工作流或协调器，它会确保不会调用工作流中的下一步。然而，它并没有触及现有的火花工作。这是设计使然。

如果要终止 spark 作业，则需要使用以下命令在集群中手动终止 spark 作业

yarn application -kill <applicationId>
于 2018-09-03T17:08:23.217 回答