hadoop - 映射器类实例的生命周期

Question

将创建一个映射器类实例并将其用于一个 InputSplit（或映射器任务）？或者多个映射器类实例可以处理一个 InputSplit（或一个映射器任务）？

Answer 1

每个输入拆分都交给一个映射器，一个映射器只会处理一个输入拆分。

但是，如果您打开了映射器推测执行，则输入拆分可以由不同节点上的两个映射器并行运行（某些条件会触发推测执行，您应该能够搜索它们）。

此外，如果映射任务失败，则输入拆分将被安排在另一个集群节点上作为另一个映射任务运行。