0

我正在使用 Microsoft 的 azure 上的 hadoop 来运行一些 mapreduce 作业。我已将 dfs.block.size 设置为 16777216(即 16MB)并将 mapred.max.split.size 设置为 16MB。我还通过访问每个任务跟踪器将每个任务跟踪器中的地图任务数设置为 16。(这是一个 3+1 节点集群)。我还尝试使用 -D 选项设置 mapred.map.tasks 属性。但是这些努力都没有成功地增加地图任务的数量,令人惊讶的是仍然是 1..

有什么建议吗?提前致谢..

编辑:输入大小很大(以 GB 为单位)

4

2 回答 2

0

检查,该文件未压缩。

于 2012-10-30T08:28:41.687 回答
0

也许你的设置不起作用。

您可以在作业配置页面上检查运行时作业配置,hadoop作业配置页面是http://<host>:<port>/jobconf.jsp?jobid=<jobid>.

于 2012-11-01T15:55:25.390 回答