hadoop - 关于 hadoop federation 的同步问题

Question

我对 hadoop federation 有一些疑问。据我所知，它有多个主节点（namenode）同时运行。

所以我的问题是，如果客户有请求，如何确定哪个主机为客户的请求提供服务。

另一个问题是每个master中存储的元数据是否相互并发。

如果masters中的数据是并发的，而两个client同时在两个不同的master上请求，如何处理同步问题。

希望我把我的问题说清楚。我只在 apache hadoop 上阅读网页。任何材料和教程都非常感谢。非常感谢您的评论和更正。

Answer 1

使用客户端挂载表，我们可以将文件路径映射到名称节点（下面的 core-site.xml 配置）

  <property>
        <name>fs.viewfs.mounttable.default.link./namenode1</name>
        <value>hdfs://namenode1:9001/home</value>
    </property>
    <property>
        <name>fs.viewfs.mounttable.default.link./namenode2</name>
        <value>hdfs://namenode2:9001/home</value>
    </property>}

例如在 put 操作期间，我们可以指定路径，请求将转到 namenode1

bin/hadoop fs -put file.txt /namenode1/input

在 HDFS Federation 中，每个名称节点都管理自己的元数据。