hadoop - 我在 AWS 中只需要 4 个映射器和 2 个减速器，但这不会发生吗？

Question

你如何确保只有 4 个 map 和 2 个 reduce 存在，因为当我使用 1 个大实例时，它有时会给我 6 map 2 reduce random no。我尝试将 mapred.map.tasks=4 放在额外的参数中，同时设置也不起作用的作业

Answer 1

尝试使用引导操作设置映射器和减速器的数量。

     elastic-mapreduce --create \
     --name "cluster_name" \
     --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args -m,mapred.map.tasks=4,-m,mapred.reduce.tasks=2,-m,mapred.tasktracker.map.tasks.maximum=4,-m,mapred.tasktracker.reduce.tasks.maximum=2