hadoop - ElasticMapReduce：每个 EC2 类型的映射器/减速器数量

Question

我想知道映射器和减速器的数量是否会根据您选择的 EC2 服务器的实例类型而有所不同？我发现大型实例使用 3 个映射器和 1 个减速器。对于所有其他类型（例如，xLarge 实例），这是否相同？我知道我可以通过引导来覆盖它，但只是想知道。

Answer 1

不，每个实例类型都不相同。Amazon 有一个 Hadoop 默认配置的概念，它由 AMI 版本控制，最新的是 AMI-2.3 。这些配置定义了许多 hadoop 配置的默认值，例如对于 m1.xlarge，以下配置默认设置为您使用 AMI-2.3

Parameter   Value
HADOOP_JOBTRACKER_HEAPSIZE  6912
HADOOP_NAMENODE_HEAPSIZE    2304
HADOOP_TASKTRACKER_HEAPSIZE 384
HADOOP_DATANODE_HEAPSIZE    384
mapred.child.java.opts  -Xmx768m
mapred.tasktracker.map.tasks.maximum    8
mapred.tasktracker.reduce.tasks.maximum 3

有关更多信息，请参阅以下内容： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryDe ​​fault_AMI2.3.html http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop -config.html