scala - 检测火花流中丢失的连接

Question

我目前正在使用 apache spark 流。我想知道如何检测与外部数据源的连接是否丢失，以便我们可以停止流式传输并重新连接到数据源。

提前感谢您的帮助

Answer 1

向您拥有的接收器添加一个侦听器，并在接收器停止时停止流式传输上下文。

例子：

streamContext.addStreamingListener(new StreamingListener() {

        @Override
        public void onReceiverStopped(StreamingListenerReceiverStopped arg0) {
            streamContext.stop(true, true);
        }
}