hadoop - 如何在 HDFS 中查找文件的不同片段

Question

有没有办法找出我放在 Hdfs 中的文件片段去了哪里？我的意思是有关文件片段存储在 hdfs 中的位置的信息？

Answer 1

您可以使用 fsck 命令：

#> hadoop fsck /path/to/file -files -blocks -locations -racks

这列出了文件、块及其相关元数据：

• 块名称/ID
• 块长
• 块复制
• 位置（datanodeIp：端口）
• 机架（带有关联机架 ID 的数据节点 IP 前缀）

例如：

/user/chris/file1.txt 123 bytes, 1 block(s): OK
0. blk_432678432632_3426532 len=123 repl=2 [/rack1/1.2.3.4:50010, /rack2/4.5.6.7:50010]