我已将 Spark 作业服务器配置为在 YARN 上运行。我可以将火花作业发送到 YARN,但即使在作业完成后它也不会在 YARN 上退出
例如:我试图制作一个简单的火花上下文。上下文反映在作业服务器中,但 YARN 仍在运行该进程并且没有停止我必须手动终止任务。
纱线工作
作业服务器反映了上下文,但是一旦我尝试在其中运行任何任务,作业服务器就会给我一个错误
{
"status": "ERROR",
"result": "context test-context2 not found"
}
我的 Spark UI 也不是很有帮助