hdfs - HDFS 如何在 CopyFromLocal 中分发新的块或文件

Question

我已经使用 CopyFromLocal 将一个大文件上传到 HDFS，该文件被分成较小的块，分布在我的数据节点上。我对 HDFS 究竟如何选择放置这些块的位置感兴趣——它是否为每个块完全随机选择一个数据节点（不管数据节点已经持有多少块或其备用容量？）还是选择背后有一些方法? 这与上传许多（小）文件时的规则相同吗？

我知道有放置副本的规则，但目前我不是在查看复制文件放置的细节，而是原始文件本身的放置。

欢呼艾莉

Answer 1

Rack Awareness 是一个概念，NameNode 知道哪个数据节点驻留在哪个 Rack 中，以及应该选择哪个数据节点。