java - Hadoop的Reducer运行在哪台机器上

Question

如果我有一个 4 节点集群，其中 1 台机器是 namenode，其余 3 台机器是 datanodes，如果我将 reducer 的数量设置为 1，哪些数据节点将运行 reducer？

Answer 1

namenode 和 datanode 是 HDFS 进程而不是 MapReduce。我假设您有 3 个任务跟踪器节点。其中一个将运行它。不能保证是哪一个。Hadoop 通常将计算移动到它需要的数据附近，但对于 reducer，它们从映射器而不是 HDFS 中提取数据。您可以说 Hadoop 会更喜欢负载较少且至少有一个 reduce 槽的节点。