hadoop - 如何在hadoop dfs中检查集群的完整路径

Question

hadoop dfs 默认只有相对路径。例如

hadoop dfs -ls / .... /tmp1/ .... /tmp2/

如何检查它来自哪个集群。完整路径。

Answer 1

你只有一个集群，它是 Hadoop 集群，在这个集群中，你有一个 Namenode（可以添加 avatar 节点或备份节点）和多个 datanode。HDFS 在集群级别配置，因此 namenode 运行 HDFS 主组件，所有数据节点都运行 HDFS 从组件，但是从逻辑角度来看，集群中只有一个 HDFS 分散。

因此，现在当您调用 hadoop Dfs -ls 命令时，您将获得 HDFS 的逻辑视图，它将显示每个节点上可用的文件系统视图。这是每个人在任何节点都会看到的。

HDFS 配置解释了 HDFS 在你的 namenode 和 datanodes 中配置的物理文件夹。打开你的 conf/hdfs-sites.xml，它会告诉你物理路径是什么

<property>
 <name>dfs.name.dir</name>
 <value>FOLDER_INFO</value>
</property>
<property>
 <name>dfs.data.dir</name>
 <value>FOLDER_INFO</value>
</property>