1

我已将 Spark 作业服务器配置为在 YARN 上运行。我可以将火花作业发送到 YARN,但即使在作业完成后它也不会在 YARN 上退出

例如:我试图制作一个简单的火花上下文。上下文反映在作业服务器中,但 YARN 仍在运行该进程并且没有停止我必须手动终止任务。

纱线工作

纱线工作

火花上下文 火花上下文

作业服务器反映了上下文,但是一旦我尝试在其中运行任何任务,作业服务器就会给我一个错误

{
  "status": "ERROR",
  "result": "context test-context2 not found"
}

我的 Spark UI 也不是很有帮助

火花界面

4

0 回答 0