hadoop - HDFS 块大小和网络复制流量之间的关系是什么？

Question

相对于我们认为我们通过 OpenTSDB 写入它的数据量，我们的 HBase 集群具有大量的网络流量。

将字节中继到 OpenTSDB：

以字节为单位的网络吞吐量（Y 轴是 SI 单位，因此不是 base2）：

我们使用 Cloudera，所以块是 128MB，将其更改为 64MB 会减少网络复制流量吗？还有其他后果需要考虑吗？

Answer 1

要明确回答降低块大小会减少复制流量的问题，答案是否定的。

HDFS 客户端不会一次写入整个块的数据 - 它们一次以 64k-128k 字节的小校验和数据包（可配置）流式传输写入，在管道中的 DataNode(s) 处构建整个块。

降低块大小只会产生一个效果：更多数据节点上的更多块。它不会改变传输速率和总网络利用率，这完全由目标数据写入大小和复制因子驱动​​，而不是由 HDFS 逻辑块大小属性驱动。