1

我试图了解我的 Spark UI 中的条目是什么意思。

在此处输入图像描述

调用操作会导致创建作业。我很难理解

  1. 创造了多少这样的工作？这与微批次的数量成正比吗？
  2. 持续时间列表示什么？
  3. 实例化流上下文时设置批处理持续时间有什么影响？这在 Spark UI 中的何处可见？

新的 StreamingContext(sparkSession.sparkContext, Seconds(50))

4

1 回答 1

0

1.作业与微批次成正比，假设您的流式上下文时间为 50 秒，那么您将在一分钟内拥有 2 个作业

2.持续时间，指定处理单个微批处理或作业所花费的时间。理想情况下，处理一个微批处理所花费的持续时间应该小于为微批处理指定的时间。假设它是 50 秒，每个微批处理作业应该是在那段时间内完成

3.在作业运行时，在UI中选择流式处理选项，可以看到每个微批处理是以50秒的间隔创建的

当你点击一个作业时，你会得到那个单个微批处理/作业的阶段的详细信息。我猜你已经分享了相同的屏幕热。这里的持续时间是指作业中每个阶段完成所花费的时间

于 2018-03-24T18:16:44.587 回答