hadoop - 如何正确检查 hdfs 上的磁盘使用情况？

Question

我正在纱线上运行作业，我看到了

Resources are low on NN.  Please add or free up more resources then turn off safe mode manually.

所以，我去检查磁盘空间，我发现有足够的空间：

df -h

Filesystem  Size     Used     Available  Use%  Mounted on
/dev/xvda1  5.0G     4.2 G    491 M      90%   /
tmpfs       30G      0        30 G       0%    /dev/shm
/dev/xvdb   53G      17 G     33 G       34%   /media/ephemeral0

所以有空间。可能是什么问题？

Answer 1

NN 上的资源不足。

您的 Namenode 的本地文件系统资源不足。

默认情况下，dfs.namenode.du.reserved配置为104857600 bytes. IE，dfs.namenode.name.dir正在写入编辑的挂载点应该至少100MB有剩余空间。检查节点的磁盘空间使用情况。

df -h

释放磁盘以获得足够的空间或添加更多磁盘空间。然后离开safemode。

hdfs dfsadmin -safemode leave