我正在使用 Microsoft 的 azure 上的 hadoop 来运行一些 mapreduce 作业。我已将 dfs.block.size 设置为 16777216(即 16MB)并将 mapred.max.split.size 设置为 16MB。我还通过访问每个任务跟踪器将每个任务跟踪器中的地图任务数设置为 16。(这是一个 3+1 节点集群)。我还尝试使用 -D 选项设置 mapred.map.tasks 属性。但是这些努力都没有成功地增加地图任务的数量,令人惊讶的是仍然是 1..
有什么建议吗?提前致谢..
编辑:输入大小很大(以 GB 为单位)