hadoop - 如何确定对 distcp2 的调用是否成功？

Question

我可以在网上找到的最好建议是，您应该在传输后比较文件或使用 -update 进行第二次运行，第二次被认为不可靠。

有没有办法确定调用是否无异常返回？

Answer 1

如果 distcp 命令失败，它将返回一个非零退出，这意味着出现问题并在控制台中写入异常，将作业报告为失败。

最后 distcp 命令执行一个 MapReduce 作业，您可以在 ResourceManager 中跟踪该作业（您可以使用 API 来自动化验证）。在作业的计数器中，您可以看到复制了多少文件以及跳过了多少文件，以类似的方式您可以知道作业是否成功完成。