hadoop - HDFS如何删除块？

Question

我是 Hadoop 新手。

部署后，我运行了基准测试，$hadoop jar hadoop-0.20.0-test.jar TestDFSIO -write -nrFiles 1000 -fileSize 10。

工作完成后，我查看了 Cluster Summary，说 1000 个文件和目录，1000 个块 = 2000 个。

然后我使用shell cmd删除相应的文件。那么 Cluster Summary 就是：0 个文件和目录 1000 个块 = 1000 个。

我认为删除后集群摘要中应该没有文件和块。但实际情况是：在我问这个问题之前是1000块。但现在有 0 个块。

这怎么可能发生？

Answer 1

删除只是指示 NameNode 从其元数据存储中删除文件。提交后，NameNode 将联系托管块的 Datanode 并指示它们删除块。

数据节点上的实际文件删除可能需要几秒钟（取决于数据节点的数量、块大小和要删除的块数），然后数据节点会向 nameNode 报告，此时它将更新全局块数。正如您所观察到的，片刻之后，块的总数将恢复为 0

Answer 2

块删除操作是异步完成的。