hadoop - 我在哪里可以看到我在 Hadoop HDFS 中的数据

Question

我将主节点和从节点中的 dfs.name.dir 和 dfs.data.dir 设置为 /home/hduser/hadoop/hdfs/name /home/hduser/hadoop/hdfs/data 我将文件从本地磁盘复制到 HDFS。我在哪里可以看到 HDFS 中的文件数据

Answer 1

这些配置参数决定了 Hadoop 在本地文件系统中存储其图像和原始数据的位置。将文件数据导入 HDFS 时，不涉及这些值。通常，数据会在您指定的路径（当它是绝对路径时）或由您的用户名限定的路径（默认情况下，我相信这是 ）写入 HDFS，/user/your_username当您使用相对路径时。

所以，如果我有一个example在我的（本地）主目录中命名的文件并说

local:~ matt> hadoop fs -put example relative/path

我应该可以在 HDFS 中找到它/user/matt/relative/path/example。另一方面，如果我这样做

local:~ matt> hadoop fs -put example /absolute/path/in/hdfs

它将位于 HDFS 中/absolute/path/in/hdfs/example。