我在 hadoop 集群中使用 3 台计算机，主服务器有 3 GB 内存，从服务器有 3 GB 内存。
奴隶的地图任务容量是6，但我需要更多。
我可以更改这个号码吗？机器的哪个属性决定了地图任务的容量？
问问题
805 次
2 回答
0
分配给运行 map 和 reduce 任务的 JVM 的内存量由mapred.child.java.opts属性设置。
于 2013-01-27T07:19:06.053 回答
0
我猜你在问如何让它在每台工作机器上运行超过 6 个映射器。首先要检查的是mapred.tasktracker.map.tasks.maximum集群中的值。它默认为 2。如果您有 3 台机器，这意味着整个集群最多有 6 个映射 - 而不是每个工作人员。无论如何，将其增加到您喜欢的程度。
但这不会使 Hadoop 使用比它认为适合输入的更多的映射器。这可能是你应该留给 Hadoop 的东西。
于 2013-01-28T10:40:45.673 回答