hadoop - Hadoop名称节点磁盘大小

Question

关于namenode物理机上的HDD大小有什么建议吗？当然，它不会像 datanode 那样存储来自 HDFS 的任何数据，但是在创建集群时我应该依赖什么？

Answer 1

NameNode 上的物理磁盘空间并不重要，除非您在同一节点上运行 Datanode。但是，为 NameNode 分配良好的内存 (RAM) 空间非常重要。这是因为 NameNode 将 HDFS 的所有元数据（块分配、块位置等）存储在内存中。如果没有分配足够的内存，NameNode 可能会耗尽内存并失败。

Answer 2

您可能需要一些空间来实际存储 NameNode 的 FSImage、编辑文件和其他相关文件。

实际上建议配置 NameNode 使用多个目录（一个本地和另一个 NFS 挂载），以便存储文件系统元数据的多个副本。这样，只要目录位于不同的磁盘上，单个磁盘故障就不会损坏元数据。

请参阅此链接了解更多详情。

Answer 3

我们从 Cloudera 获悉，他们建议名称节点具有更快的磁盘 - SSD 和 10kRPM SAS 驱动器的组合优于典型的 2TB、7200K SAS 驱动器。这听起来合理还是矫枉过正，因为我读过的所有其他内容都表明您并不真的需要昂贵的 Hadoop 高速存储。