我在 EC2 微实例上运行单机 Hadoop 设置。我编写了一个简单的 wordcount 程序,并且没有明确指定应该运行的 Map 或 Reduce 任务的数量,输入文件小于 1MB。在这种情况下启动的 Map Tasks 的数量是 2,为什么会这样?
如果我使用 conf.setNumMapTasks(1) 则只启动 1 个 Map。
即使输入文件小于 1MB,M/R 如何确定需要 2 个 Map 任务?
如上所述,每个作业的默认映射任务数为 2。Hadoop 块大小和输入拆分有两个术语。map 的数量一般由 Mapper Task 的 inputsplits 决定。
每个作业的默认地图任务数为 2。即“mapred.map.tasks”属性的默认值为 2。
在此处验证文档:http: //hadoop.apache.org/docs/r1.0.4/mapred-default.html