configuration - Hadoop 配置 - 映射器/组合器是否受 io.sort.factor 和 io.sort.mb 影响？

Question

如果我修改 io.sort.factor 和 io.sort.mb，在 map 端进行的本地排序是使用这些变量，还是仅由 reducer 端的排序使用？

Answer 1

是的，它们也用于地图方面（无论您是否有组合器）：

• 地图任务.java
  • io.sort.factor- 第 1695 行
  • io.sort.mb- 第 932 - 944 行