java - 在hadoop中，reduce任务如何从map任务中提取数据

Question

我知道reducer通过http拉取地图输出。但是由于每个 map 任务都将其所有溢出合并到一个文件中，reduce 任务如何从 map 任务中提取这些中间数据？只是那个文件的一部分？

Answer 1

map 任务的输出按分区号排序。每个分区号对应一个reducer。当一个reducer拉取输出时，文件指针会偏移到reducer分区号的起始位置，并开始读取。当然，在映射器端维护一些分区号到文件偏移表来实现这一点。