hadoop dfs 默认只有相对路径。例如
hadoop dfs -ls / .... /tmp1/ .... /tmp2/
如何检查它来自哪个集群。完整路径。
hadoop dfs 默认只有相对路径。例如
hadoop dfs -ls / .... /tmp1/ .... /tmp2/
如何检查它来自哪个集群。完整路径。
你只有一个集群,它是 Hadoop 集群,在这个集群中,你有一个 Namenode(可以添加 avatar 节点或备份节点)和多个 datanode。HDFS 在集群级别配置,因此 namenode 运行 HDFS 主组件,所有数据节点都运行 HDFS 从组件,但是从逻辑角度来看,集群中只有一个 HDFS 分散。
因此,现在当您调用 hadoop Dfs -ls 命令时,您将获得 HDFS 的逻辑视图,它将显示每个节点上可用的文件系统视图。这是每个人在任何节点都会看到的。
HDFS 配置解释了 HDFS 在你的 namenode 和 datanodes 中配置的物理文件夹。打开你的 conf/hdfs-sites.xml,它会告诉你物理路径是什么
<property>
<name>dfs.name.dir</name>
<value>FOLDER_INFO</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>FOLDER_INFO</value>
</property>