apache-spark - 司机命令关闭后，Spark 工作人员停止

Question

基本上，主节点也充当从节点之一。一旦 master 上的 slave 完成，它就会调用 SparkContext 来停止，因此这个命令会传播到所有在处理过程中停止执行的 slave。

错误登录其中一名工作人员：

信息 SparkHadoopMapRedUtil：尝试_201612061001_0008_m_000005_18112：已提交

INFO 执行者：在阶段 8.0 (TID 18112) 中完成了任务 5.0。2536 字节结果发送到驱动程序

信息 CoarseGrainedExecutorBackend：驱动程序命令关闭

错误 CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERMtdown

Answer 1

检查您的资源管理器用户界面，以防您看到任何执行程序失败 - 它详细说明了内存错误。但是，如果执行程序没有失败但驱动程序仍然要求关闭 - 通常这是由于驱动程序内存，请尝试增加驱动程序内存。让我知道事情的后续。