我面临以下错误:
我编写了一个基于 Spark 流 ( Dstream ) 的应用程序来提取来自 PubSub 的消息。不幸的是,我在执行这项工作期间遇到了错误。实际上,我使用的是由 4 个节点组成的集群来执行 spark 作业。
作业运行 10 分钟后没有任何特定错误,我永久收到以下错误:
错误 org.apache.spark.streaming.CheckpointWriter:
无法将检查点任务提交给线程池执行程序 java.util.concurrent.RejectedExecutionException: 任务 org.apache.spark.streaming.CheckpointWriter$CheckpointWriteHandler@68395dc9
从 java.util.concurrent被拒绝.ThreadPoolExecutor@1a1acc25
[正在运行,池大小 = 1,活动线程 = 1,排队任务 = 1000,已完成任务 = 412]