hdfs - WebHdfs 中的校验和计算

Question

当使用“hdfs dfs -put”获取文件时，客户端计算校验和并将输入数据+校验和发送到 Datanode 进行存储。

当使用 WebHdfs 读/写 File 时，这个校验和计算/验证是如何发生的？WebHdfs 如何保证数据完整性？

Apache 上的 Hadoop 文档没有提及任何关于它的内容。

Answer 1

WebHDFS 只是通过通常的 datanode 操作的代理。Datanodes 托管 webhdfs servlet，它们打开标准 DFSClients 并通过标准管道读取或写入数据。这是正常过程中的一个额外步骤，但不会从根本上改变它。以下是简要概述。