我在集群上运行的 HDP 2.6.2 上安装了 Spark 2.3.1 自定义非 ambari。我已经按照 spark 和非 ambari 安装指南进行了所有必要的配置。
现在，当我在 Yarn 集群模式下提交 spark 作业时，我看到作业之间存在 10-12 分钟的巨大差距，并且我没有看到作业之间正在执行任何错误或操作。附加的屏幕截图显示作业之间的延迟接近 10 分钟，这导致完成 Spark 作业时出现不必要的延迟。 以 Yarn Cluster 模式提交的 Spark 2.3.1 作业
我检查了 Yarn 日志和 Spark UI，我没有看到任何错误或任何使用作业之间的时间戳记录的操作。
查看事件时间线，我看到工作之间的间隔为 10 分钟以上。 作业之间的事件时间线差距
需要帮助以提供任何指示以了解如何解决此问题并提高工作绩效。
问候， 维什