map - 分离 Hadoop Map 和 Reduce 任务

Question

在一个 3 节点 hadoop 集群中。我希望主节点是 1 个节点。映射任务发生在一个节点，减少任务发生在一个节点。Map 和 reduce 任务应该分开。是否可以？据我注意到两者一起运行。如果你能有所启发，那就太好了。谢谢 ！

-塞图

Answer 1

这不是最佳的，因为地图输出必须始终复制到另一台服务器。
但是您可以简单地修改服务器上的 mapred-site.xml。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>

<property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

在不应运行减速器的服务器上，您将 reduce.task.maximum 设为零。对于其他服务器，反之亦然。