apache-spark - 了解 Spark UI 的事件时间线

Question

我正在运行一项显示事件时间线的工作，如下所示，我试图猜测这些单行之间的差距，它们似乎是平行的，但与其他阶段没有立即顺序......

对此有何其他见解，以及集群在这些间隙期间做了什么？

Answer 1

没有任何代码可看，盲目的猜测是，在这些间隙期间，驱动程序正忙于做一些工作。如果您在驱动程序中执行 a.collect()或 abroadcast()或任何类型的本地处理，则执行程序将处于空闲状态，等待分配给它们的工作。

Answer 2

请注意，在可视化中，您可以从其下方的表格中看到任务。如果您更改分页大小或表格的排序，您可以看到实际的模式。