要求:Hadoop Namenode HA 的名称服务应该可以跨集群发现。
解决方案#1:我在网上找到的一种解决方案是将名称服务配置添加到所涉及集群中的所有 hdfs-site.xml 文件中。
问题:我们有 10 个集群并且还在增长,我们无法在每次部署新集群时在所有集群中添加新的集群定义。
优点:可管理少数集群。缺点:无法扩展到更多集群。
解决方案#2:我们正计划开发第二个解决方案,使用中央服务来解析跨集群的名称服务,并使用自定义类扩展 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 类。
请提供有关任何更好的解决方案或已为此问题提交的任何现有补丁的任何输入。