我想知道mapreduce 1和mapreduce2之间的详细区别。YARN 的加入实际上为 Hadoop 添加了什么？我是一个想学习 Apache Hadoop 的初学者。任何人都可以建议从哪里开始。还有什么是Hadoop的集群设置。感谢您的所有帮助。
问问题
12477 次
2 回答
7
在 Hadoop2 中，Apache 将 map/reduce 进程的管理与集群的资源管理（YARN = 新的资源管理器）分开。这种分离允许一个专业化两件事，即 YARN 是比我们在 MR1 中更好的资源管理器。它还支持多功能性 - 资源管理器可以支持其他范例，而不仅仅是 map/reduce，实际上我们看到很多 YARN 可以管理的东西，比如Tez、Hama、Storm甚至HBase
您可以查看 HortonWorks YARN 页面作为了解 Yarn 是什么以及它的作用的一个很好的起点
于 2013-09-02T18:10:42.060 回答
4
MR1 架构，集群由名为 JobTracker 的服务管理。TaskTracker 服务存在于每个节点上，并将代表作业启动任务。JobTracker 将提供有关已完成作业的信息。
MR2 架构，旧的 MR1 框架被重写以在YARN之上提交的应用程序中运行。这个应用程序被命名为 MR2，或 MapReduce 版本 2。它是熟悉的 MapReduce 执行，除了每个作业现在通过自己的 ApplicationMaster 控制自己的命运，负责处理执行流程（例如调度任务、处理推测执行和故障等） .)
参考：- http://blog.cloudera.com/blog/2013/11/migrating-to-mapreduce-2-on-yarn-for-operators/
于 2014-07-31T04:53:57.613 回答