hadoop - 如何告诉 distcp 忽略“找不到文件......”并进入下一个文件？

Question

我们有一个完整的 HDFS 备份使用distcp需要很长时间才能运行，HDFS 上的一些数据正在“移动”，即它被创建和删除。这导致映射器失败java.io.FileNotFoundException: No such file or directory。这些文件并不重要，我们只希望备份能做到最好。

现在看来，-i“忽略失败”并不是我们想要的，因为它会在映射级别而不是文件级别忽略，也就是说，如果映射任务失败，与该映射任务关联的所有文件都将被忽略。我们想要的只是该文件被忽略。