我是 Hadoop 新手。在对我的 MapReduce 作业进行编码后,我决定在共享集群上对其进行测试。我最初在单个节点上测试了我的工作。但后来我添加了 4 个节点在 5 (1+4) 上进行测试。容量调度程序显示以下信息:
队列配置
容量百分比:100.0%
用户限制:100%
支持优先级:否
映射任务
容量:10 个插槽
已用容量:2(容量的 20.0%)正在
运行的任务:2
活跃用户:
用户 'juancito':2(已用容量的 100.0%)
因为有 1 个节点我有 2 个插槽,现在有 5 个节点我有 10 个插槽,我猜每个节点有两个插槽(如果我错了,请纠正我)。现在,调度程序说我只使用了 20% 的容量。这是否意味着我实际上并没有使用我添加的 4 个节点?插槽数量是否会影响我正在运行的作业的性能?有没有办法知道并行化是否真的发生了?如果不使用我添加的 4 个节点,如何将用户“juancito”(我自己)的容量从 2 个增加到 10 个,以便他可以享受 5 个节点的全部映射容量?谢谢。