hadoop - 显示不同信息的 HDFS 磁盘使用情况

Question

我通过 hadoop fsck / Total size: 41514639144544 B (Total open files size: 581 B) Total dirs: 40524 Total files: 124348 Total symlinks: 0 (Files current being writing: 7) Total blocks (validated): 340802 (平均块大小 121814540 B)（打开的文件块总数（未验证）：7）最小复制块：340802 (100.0 %)

我正在使用 256MB 块大小。所以 340802 个块 * 256 MB = 83.2TB * 3(replicas) =​​249.6 TB 但在 cloudera manager 中它显示使用了 110 TB 磁盘。这怎么可能？

Answer 1

您不能只乘以块大小和复制因子。块大小和复制因子可以在每个文件级别动态更改。

因此，在您问题的第二部分中完成的计算不必正确，尤其是 fsck 命令显示的块大小约为 120MB。

在这种情况下，40 TB 存储占用了大约 110 TB 的存储空间。因此，所有文件的复制因子也不是 3。您在 Cloudera Manager 中得到的都是正确的值。