我有一个关于名称节点高可用性的问题。名称节点非常重要,因为它存储了所有的元数据,如果它宕机了,整个 Hadoop 集群也会宕机。那么有没有什么好的方法来接近名称节点的高可用性,例如当主名称节点发生故障时,有一个备用名称节点可以接管?(现在我使用 Hadoop 1.1.2)
问问题
2548 次
1 回答
0
对于 ASF Hadoop 1.1.2,没有可靠的 NameNode HA 选项。这些是针对 2.0 发布的,并包含在 Cloudera 的 CDH4 等流行发行版中。
NameNode HA 的选项包括运行主 NameNode 和热备用 NameNode。它们在 NFS 挂载上或通过 HDFS 本身中的仲裁日志模式共享编辑日志。前者为您提供了用于存储 HDFS 元数据的外部源的好处,而后者为您提供了没有 Hadoop 外部依赖项的好处。
就个人而言,我喜欢 NFS 选项,因为您可以轻松地对驻留在文件服务器的数据进行快照/备份。这种方法的缺点是延迟方面的性能可能不一致。
有关更多详细信息,请查看以下文章:
于 2013-08-13T13:58:58.253 回答