我在 EC2 微实例上运行单机 Hadoop 设置。我编写了一个简单的 wordcount 程序，并且没有明确指定应该运行的 Map 或 Reduce 任务的数量，输入文件小于 1MB。在这种情况下启动的 Map Tasks 的数量是 2，为什么会这样？
如果我使用 conf.setNumMapTasks(1) 则只启动 1 个 Map。
即使输入文件小于 1MB，M/R 如何确定需要 2 个 Map 任务？
问问题
159 次
2 回答
0
如上所述，每个作业的默认映射任务数为 2。Hadoop 块大小和输入拆分有两个术语。map 的数量一般由 Mapper Task 的 inputsplits 决定。
于 2013-05-30T06:08:42.147 回答
0
每个作业的默认地图任务数为 2。即“mapred.map.tasks”属性的默认值为 2。
在此处验证文档：http: //hadoop.apache.org/docs/r1.0.4/mapred-default.html
于 2013-05-29T11:21:56.927 回答