hadoop - Hadoop节点高可用

Question

如何拥有namenode的高可用？我们应该在集群中配置一些东西吗？（我们应该有 2 个节点（namenodes）吗？

Answer 1

互联网上有很多关于如何在 hadoop v1 中执行此操作的资源，例如 http://www.hadoopsphere.com/2012/11/understanding-high-availability-options.html或http://hortonworks.com/blog/ ha-namenode-for-hdfs-with-hadoop-1-0-part-1/

在 Hadoop 2.0 中，这从本质上得到了解决。

Answer 2

Datanode：他们做实际的工作..

NameNode：负责管理 DataNode 的工作。

一个集群可以有多个 DataNode，但只有一个 NameNode。在一组物理盒子中，通常一个盒子运行 NameNode，而其他盒子运行 DataNode。

将 NameNode 与执行繁重工作的 DataNode 分开是一个好主意。原因是 NameNode 工作已经是内存密集型的。NameNode 可能成为集群的单点故障也无济于事。因此，经常重复的建议是让 NameNode 在具有防弹可靠性的单独高可用性服务器上运行。