amazon-web-services - 如何调试 aws 胶水 pyspark 作业

Question

我有一个 aws glue pyspark 作业，它在某个命令后长时间运行。在日志中，即使是简单的“print hello”语句，它也不会在该命令之后写入任何内容。如何调试长时间运行甚至不写入日志的 aws 胶水 pyspark 作业。作业没有抛出任何错误，它在控制台中显示运行状态

Answer 1

AWS Glue 基于 Apache Spark，这意味着在调用操作之前不会有任何实际执行。因此，如果您将打印语句放在两者之间并在日志中看到它们，这并不意味着您的工作已经执行到那时。由于您的工作长期运行，请查看AWS 的这篇文章，其中解释了Debugging Demanding Stages 和 Straggler Tasks。这也是一个很好的博客，可以看看。