应该连续运行的正在运行的火花流作业突然退出并出现以下错误(在执行程序日志中找到):
2017-07-28 00:19:38,807 [SIGTERM handler] ERROR org.apache.spark.util.SignalUtils$$anonfun$registerLogger$1$$anonfun$apply$1 (SignalUtils.scala:43) - RECEIVED SIGNAL TERM
在收到此信号之前,火花流作业运行了约 62 小时。
我在执行程序日志中找不到任何其他错误/警告。不幸的是,我还没有设置驱动程序日志,所以我无法更深入地检查这个特定问题。
我在独立模式下使用 Spark 集群。
驱动程序可能发送此信号的任何原因?(火花流运行良好且良好运行 60 多个小时后)