hadoop - 使用 Hadoop NameNode、Checkpoint Node 和 Backup Node 的优缺点是什么？

Question

我目前正在为一个内部项目评估 Hadoop 1.0.2。

Hadoop 文档说

次要 NameNode 已被弃用。相反，请考虑使用检查点节点或备份节点

有关于这三个选项是什么以及它们做什么的信息，但是我很难找到关于在什么情况下推荐三个选项中的哪一个的信息。

Answer 1

基本上，检查点节点是辅助名称节点的新实现，备份点是名称节点热备份途中的临时版本（此外，它目前可以通过分离读取和写入来提供小的性能提升 - 读入名称节点并写入备份节点

来自Konstantin Shvachko 解释的Backupnode 文档：

此补丁引入了两种新类型的名称节点：检查点节点和备份节点。

• 检查点节点的作用是通过合并图像和编辑文件来检查点名称节点元数据。
• Backup 节点扩展了 Checkpointer 的功能，它可以接收文件系统元数据的在线更新，将它们应用到其内存状态，并将它们保存在磁盘上，就像 name-node 一样。因此，备份节点在任何时候都包含内存和本地磁盘上的命名空间的最新映像。这也导致更有效的检查点，因为备份节点不需要从活动名称节点传输文件，也不需要重播（合并）编辑。
• Term Standby 节点保留用于进一步扩展备份节点功能，如果活动节点死亡，集群将能够切换到新的名称节点。这在设计文档的“热备用规定”部分中有所提及。

典型用例：

1. 仅运行检查点节点以创建检查点。应该使用它来代替补丁已弃用的当前 SecondaryNameNode。我重用了很多 SecondaryNameNode 代码，所以这项工作没有白费，它只是在进化。
2. 运行备份节点以支持在线编辑流和高效检查点。这特别针对消除 NFS 作为编辑的远程存储。
3. 在没有持久存储的情况下运行 NameNode，并将所有“持久”功能委托给备份节点。这里的技巧是使用 -importCheckpoint 选项启动名称节点，然后运行备份节点。