hadoop - 在 2.x 中使用 Hadoop 中的辅助名称节点

Question

据我所知，Hadoop 1.x 有辅助 namenode，但用于创建主 namenode 的映像，并在主 namenode 失败并再次启动时更新主 namenode。但是考虑到我们已经有一个热备用，Hadoop 2.x 中的辅助名称节点有什么用呢？

Answer 1

据我所知，Hadoop 2.x 可以通过两种方式完成：

1. 使用 HA（高可用性集群）：如果您正在设置 HA 集群，那么您可能不需要使用辅助名称节点，因为备用名称节点保持其状态与活动名称节点同步。

HDFS NameNode 高可用性功能使您能够在具有热备用的主动/被动配置中在同一集群中运行冗余 NameNode。两个 NameNode 需要相同类型的硬件配置。在 HA hadoop 集群中，Active NameNode 以单独的方式读取和写入元数据信息日志节点。

在发生故障转移的情况下，备用 NameNode 将确保其命名空间在更改为活动状态之前根据编辑日志完全更新。所以在这个集群设置中不需要Secondary NameNode。

2.没有HA：你可以有一个没有备用节点的hadoop设置。然后辅助 NameNode 将像您在 Hadoop 1.x 中提到的那样运行

Answer 2

为 NameNode 配置 HA 时，不使用辅助 Namenode。但是，您仍然可以在没有 HA 的情况下配置 HDFS（使用 NameNode 和辅助 NameNode）。自 hadoop 1.x 以来，这部分并没有太大变化。