hadoop - HDFS默认在哪里存储文件？

Question

我正在使用具有单节点集群的默认配置运行 hadoop，并且想查找 HDFS 在本地存储文件的位置。

有任何想法吗？

谢谢。

score 30 · Accepted Answer

您需要在hdfs-default.xml配置文件中查找dfs.data.dir设置。默认设置是：${hadoop.tmp.dir}/dfs/data并注意 ${hadoop.tmp.dir} 实际上是在 core-default.xml 中描述的here。

此处描述了配置选项。此设置的说明是：

确定 DFS 数据节点应在本地文件系统上存储其块的位置。如果这是一个逗号分隔的目录列表，那么数据将存储在所有命名的目录中，通常在不同的设备上。不存在的目录将被忽略。

score 15 · Accepted Answer

似乎对于当前版本（2.7.1），目录是

/tmp/hadoop-${user.name}/dfs/data

score 14 · Accepted Answer

作为“更新的答案”并澄清 hadoop 版本号：

如果您使用Hadoop 1.2.1（或类似的东西），@Binary Nerd 的回答仍然正确。

但是如果您使用Hadoop 2.1.0-beta（或类似的），您应该阅读此处的配置文档，您要设置的选项是：dfs.datanode.data.dir

score 0 · Accepted Answer

0

对于 hadoop 3.0.0，hdfs 根路径由属性给出"dfs.datanode.data.dir"

于 2018-03-21T09:54:36.017 回答

score -3 · Accepted Answer

-3

在提示符下运行此cmd命令，您将获得 HDFS 位置：

bin/hadoop fs -ls /

于 2015-06-04T06:46:41.580 回答

5 回答 5