apache-spark - Spark Streaming 每 2 小时被终止一次

Question

当我检查工作日志并发现以下错误时，Spark Streaming Application 每隔 2 小时就会被杀死一次，没有任何日志：

14/11/15 13:53:24 INFO network.ConnectionManager: Removing ReceivingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 INFO network.ConnectionManager: Removing SendingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 ERROR network.SendingConnection: Exception while reading SendingConnection to ConnectionManagerI

我还将 spark.cleaner.ttl 值设置为 10 分钟，但没有运气。

Answer 1

也许流接收器已停止。你在你的代码中使用这样的东西吗？streamContext.stop(true, true);

如果流接收器停止并且您正在收听接收器，那么上下文也将停止。