我已经在非 VM 设置中使用心跳和虚拟 IP 机制配置了此设置。
我正在使用 hadoop 1.0.3 并使用共享目录来共享 Namenode 元数据。问题是在亚马逊云上,没有什么能像虚拟 IP 一样使用 Linux-ha 获得高可用性。
有没有人能够做到这一点。请让我知道所需的步骤?
我已经在非 VM 设置中使用心跳和虚拟 IP 机制配置了此设置。
我正在使用 hadoop 1.0.3 并使用共享目录来共享 Namenode 元数据。问题是在亚马逊云上,没有什么能像虚拟 IP 一样使用 Linux-ha 获得高可用性。
有没有人能够做到这一点。请让我知道所需的步骤?
现在我在 hbase 上使用 Hbase 复制 WAL。高于 0.92 的 Hbase 支持这一点。
对于云上的hadoop集群,我将等待2.0版本稳定。
使用了以下
在客户端,我添加了拥有 2 个主服务器的逻辑,用于在网络中断的情况下重新连接。
这个东西适用于简单的 2 台相互备份的机器,不推荐用于更多数量的服务器。
希望能帮助到你。
好吧,Hadoop 有两个部分可以使其具有高可用性。第一个也是更重要的当然是 NameNode。有一个辅助/检查点 NameNode 可以启动和配置。这将有助于在您的主 NameNode 出现故障时保持 HDFS 正常运行。接下来是运行所有作业的 JobTracker。据我所知(已过时 10 个月),您可以配置的 JobTracker 没有备份,因此您可以监控并启动一个具有正确配置的新备份,以防万一它出现故障。