pyspark - Livy 在计算结束前返回

Question

在 Hortonworks Sandbox 上使用 Livy 时，我们发现在某些情况下，Livy API 会在 Spark 监控工具指示的实际工作结束之前为语句提供结果。在某些情况下，对于正常执行时间超过 10 分钟的作业，Livy 可以在不到 5 秒的时间内提供结果。如果我们在某些情况下以相同的初始条件多次重复相同的任务，我们就会看到这个问题发生。任何想法？

Answer 1

只需检查您是否对多个作业使用同一个 Livy 会话。如果使用相同的会话，则中间 Spark DataSet 将被缓存并且结果检索得更快。