apache-spark - spark ui中的持续时间、处理时间和批处理持续时间有什么区别？

Question

如下图，spark UI 中的持续时间、批处理持续时间和处理时间有什么区别？

谢谢

火花用户界面图片

Answer 1

持续时间是挂钟。处理时间是所有作业持续时间的总和。

Answer 2

1 分钟告诉您，您的batch durationSpark 流应用程序以 1 分钟为单位工作，这意味着它每分钟计划一次 RDD。创建 SparkSession 时，您可以在代码中设置此持续时间。

processing time告诉您 Spark 需要 34 秒来处理所有输入数据（提供为）input data size。

这duration让您了解在您的应用程序中完成特定工作所花费的时间。