我已经在 Win7 下设置了一个通过 cygwin 运行的单节点 Hadoop 配置。启动 Hadoop 后
bin/start-all.sh
我跑bin/hadoop dfs -ls
它返回我的 hadoop 目录中的文件列表。然后我跑bin/hadoop datanode -format
bin/hadoop namenode -format
但是 -ls 仍然返回我的 hadoop 目录的内容。据我了解,它应该什么都不返回(空文件夹)。我究竟做错了什么?
您是否编辑了 conf 文件夹下的 core-site.xml 和 mapred-site.xml ?您的 hadoop 集群似乎处于本地模式。
我知道这个问题已经很老了,但是 Hadoop 中的目录结构发生了一些变化(版本 2.5 ) Jeroen 的当前版本会是。
hdfs dfs -ls hdfs://localhost:9000/users/smalldata
也仅供参考 - 使用 start-all.sh 和 stop-all.sh 已被弃用,而应该使用 start-dfs.sh 和 start-yarn.sh
或者你可以这样做:
我遇到了同样的问题,并通过明确指定 NameNode 的 URL 来解决它。
要列出 hdfs 空间根目录中的所有目录,请执行以下操作:
./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/
该文档说明了配置中的默认 hdfs 点,但我找不到它。如果有人知道他们的意思,请赐教。
这是我得到信息的地方:http: //hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview