hadoop - 有没有办法修复HDFS的随机因子的种子

Question

我正在使用 HADOOP-0.22 对 HDFS 进行一些实验。另一方面，为了使我的实验可重复，我需要修复一些随机因素的 HDFS 种子。具体来说，每次我重新格式化文件系统并导入相同的数据集时，我希望数据块分配到与之前的实验相同的数据节点，并且具有相同的名称。我不知道有人已经这样做了。感谢任何回复。

Answer 1

您的 Hadoop 版本支持可插入的块放置策略，您可以根据需要提供更加静态或非随机的策略。请参阅HDFS-385了解更多技术细节，以及从那时起对该接口的相关演变。