hadoop - MRv1 和 MRv2 参数

Question

链接上给出了完整的参数列表（对于 Hadoop-2.6）

但是您可以以 MRv1 或 MRv2 样式执行作业。我认为有些参数只适用于 MRv1 之类mapreduce.tasktracker.map.tasks.maximum的，这是真的吗？如果是，那么有没有更聪明的方法来计算所有这些参数？我们可以通过 -Dproperty=value 或 -D property=value 传递所有参数，还是有任何参数，我不能像这样传递？

Answer 1

在 MR2 中，map 任务的数量将由资源管理器根据分配给每个容器的内存动态计算。

来自霍顿工厂

使用 YARN 和 MapReduce 2，不再为 Map 和 Reduce 任务预配置静态槽。整个集群可用于根据作业需要动态分配 Maps 和 Reduces 资源

此页面有更多信息。检查这个 http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

您可以使用 -D property = value 从命令行传递任何参数。对此没有任何限制。但是如果这些属性是由开发人员在代码中设置的，命令行属性将被作业覆盖。