Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我想强制 HDFS 将文件的所有块写入特定主机。这是否可能,如果这是实现它的最简单方法?
为什么?我正在为基于hdfs的集群计算框架编写一个新的实例分配算法。将文件的所有块都放在一台主机上,可以更轻松地将新分配系统(考虑到数据局部性)与旧分配系统进行比较,尤其是在较小的集群上。
不,您不能这样做 - 如果该主机出现故障会发生什么?
如果您查看 HDFS 中的特定文件(具有多个块),您会经常看到许多块确实由同一个数据节点托管,但不能保证这一点。