hadoop - 纱线组件

Question

什么是

1. 节点管理器
2. 容器
3. 应用大师

在 YARN (Map Reduce 2.0) 中？

https://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/YARN.html

还想知道为什么上面链接图的底部框中没有应用程序大师？

我不是在寻找它的作用，而是它是什么！（比如 => 不确定容器是否意味着像 spring 容器（这意味着 jar 文件列表？）或它的服务器像 web 服务器？应用程序主是指简单的 Java 类吗？）

Answer 1

节点管理器是每台机器的框架代理，负责启动应用程序的容器、监控它们的资源使用情况（cpu、内存、磁盘、网络）并将其报告给调度程序。

容器是一个抽象概念，它包含来自MapReduce_NextGen_Architecture的内存、cpu、磁盘、网络等元素。它可以被视为一个可序列化的 Java 对象，包括以下信息

message ContainerProto {
optional ContainerIdProto id = 1;
optional NodeIdProto nodeId = 2;
optional string node_http_address = 3;
optional ResourceProto resource = 4;
optional PriorityProto priority = 5;
optional hadoop.common.TokenProto container_token = 6;
} 

MapReduce 作业的应用程序主机是一个 Java 应用程序，其主类是 MRAppMaster - 来自“Hadoop - The Definitive Guide”

Answer 2

容器是指每个节点上的捆绑或一组资源，如 RAM、CPU、磁盘、网络等。

NodeManager 类似于 Hadoop 1.x 中的 Tasktracker，是 Mapreduce 的 Hadoop Cluster 的从节点。

ApplicationMaster 是每个应用程序主控，它监控作业生命周期并与 ResourceManager（与 Hadoop 1.x 中的 JobTracker 相同）协商资源。

在 Hadoop 2.0(YARN) 中，Jobtracker 的角色分为两部分。

1. 全球资源管理器。
2. 每个应用程序一个 ApplicationMaster。

每个节点从属节点是 NodeManger。

NodeManager 在 ResourceManager 和 ApplicationMaster 的帮助下启动容器以运行 Map 和 Reduce 任务。

对于 Hadoop 2.x，Jobtarcker 和 Tasktracker 都已过时。