10

On studying the material in multiple no of websites and videos, I am confused with the functionalities and differences in the purposes of the 3 hadoop components ZooKeeper, Journal Node and the Quorum Journal Manager.

Could anyone please explain me the reasons for inventing each of the above and differences in the purposes and functionalities of the above three components?

Thanks in advance.

4

3 回答 3

5

可以这样想,zookeeper 是一群人,每个人都被分配到一个工厂看管和协调,journal 节点是所有工厂管理者可以查看其他状态和协调的地方。QJM 是两者的组合,可在 HA 中使用,以便在故障转移时更好地协调。

zookeeper 协调 hbase regionservers 和其他需要 zookeeper 的 hadoop 模块。

日志节点与 namenode 协调 hadoop 数据节点。

QJM 使用日志节点使用的技术来协调区域服务器

在核心 hadoop 设置上,在分布式设置的情况下,仅需要日志节点

于 2014-09-25T18:03:19.670 回答
2

首先,法定人数意味着决策需要多数。所以,当你看到“quorum”这个词时,你应该想到一个集群,这样说;多主机配置。Zookeeper 和日志节点都可以听到这个术语。

对其功能的简短描述将帮助您区分它们的用途。

Zookeeper:Zookeeper 是应用程序需要经常检查的信息的中央同步应用程序。应用程序可能需要许多信息,例如命名结构、信息、配置信息(或简单的配置)等。最常见的情况是应用程序的配置。当您更改与 80 台服务器相关的配置时,要将更改同步到所有节点,您需要开发同步服务。应用程序本身可能具有此功能。但想象一下,您向环境中添加了另外 12 个应用程序。您需要一一照顾每个应用程序的同步服务。这就是 zookeeper 的用武之地。 Zookeeper 可以自己处理所有这些信息的管理。如果将其设置为集群(需要奇数个主机。为什么?)您将拥有 Zookeeper 的高可用性(故障转移案例)并拥有 Zookeeper Quorum。

日志节点:在高可用性 Hadoop 集群中,您有多个 Namenode 以主动/被动模式运行。活动名称节点通知日志节点进行更改。Stand by name 节点向日志节点询问更改的内容。就像 Zookeeper 的情况一样,如果您设置为集群配置(这里还需要奇数主机。为什么?),您还具有日志节点功能的高可用性并拥有 Quorum 日志管理器。

实际上,除了实验室目的(PC 中的 vm)外,我没有听到将它们设置为单个主机或节点。

于 2017-02-10T14:44:52.313 回答
1

1.动物园管理员

ZooKeeper 是一个集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都以某种形式被分布式应用程序使用

Zookeeper 在 Hadoop 生态系统中的作用:

在 Hadoop Namenode 故障转移过程中,ZooKeeper 已被用于避免脑裂的情况,因此名称节点状态不会因故障转移而出现分歧。

有关更多详细信息,请参阅此帖子:

Hadoop Namenode 故障转移过程如何工作?

2. JournalNode(Namenode故障转移过程中使用)

为了让备用节点保持与活动节点的状态同步,两个节点都与一组名为“JournalNodes”(JN)的独立守护进程通信。

JournalNode 机器- 运行 JournalNode 的机器。JournalNode 守护进程相对轻量级,因此这些守护进程可以合理地与其他 Hadoop 守护进程一起配置在机器上,例如NameNodesJobTrackerYARN ResourceManager

注意:必须至少有 3 个JournalNode守护进程,因为编辑日志修改必须写入大多数 JN。这将允许系统容忍单台机器的故障

3. Quorum Journal Manager (QJM)允许在 Active 和 Standby NameNodes 之间共享编辑日志

重要的是,当使用Quorum Journal Manager时,只允许一个NameNode写入JournalNodes,因此不会在脑裂场景中破坏文件系统元数据

于 2017-02-11T17:45:36.067 回答