apache-spark - 在 Spark UI 中，任务的状态为 GET RESULT 是什么意思？

Question

我有一个 Spark 作业，它使用 Spark ML 的逻辑回归训练模型。在树聚合阶段的阶段详细信息页面下的 Spark UI 中，我看到一些状态为“GET RESULT”的任务。

这个状态是什么意思？是什么导致任务处于这种状态？

Answer 1

如果您检查TaskInfo，您会看到“GET RESULT”status需要gettingResult设置为，true并且当gettingResultTime不为零时会发生这种情况。

最后gettingResultTime代表：

任务开始远程获取结果的时间。如果在任务完成时立即发送任务结果（与发送 IndirectTaskResult 并稍后从块管理器获取结果相反），则不会设置。

所以总而言之，这意味着任务已经完成并且结果是从块管理器中获取的。