0

我注意到由于“慢节点”问题,有时 s3-dist-cp 需要比平时更长的时间。在火花的情况下,我启用了推测执行,它工作正常。但是,当谈到 s3-dist-cp 时,我想先了解可能的影响。

在常规 dist-cp 的情况下,我发现(链接:https ://hadoop.apache.org/docs/current/hadoop-distcp/DistCp.html#MapReduce_and_other_side-effects ):

If mapreduce.map.speculative is set set final and true, the result of the copy is undefined.

我知道 s3-dist-cp 是一项完全独立的工作,但我想知道是否有任何警告。我找不到任何相关文档。

感谢您的任何建议!

4

0 回答 0