1

我有一个当前的管道，我在其中对我的数据框进行了几次转换。

插入检查点以确保可接受的执行时间很重要。

但是，有时我会从任何检查点收到此错误：

Job aborted due to stage failure: Task creation failed: java.io.FileNotFoundException

No such file or directory: /checkpoints/...../rdd-1002/part-00003

你能建议一下吗？

4

1 回答 1

0

是不是和这个问题类似？当失败的进程试图恢复时，一个复杂的逻辑正在覆盖 RDD。

执行器失败后 Spark 无法在 HDFS 中找到检查点数据

于 2020-03-13T10:49:50.863 回答