我已经安装了一个包含 3 台机器的 hadoop 集群,其中 2 个节点充当数据节点,1 个节点充当 Namenode 以及一个 Datanode。我想澄清一些关于 hadoop 集群安装和架构的疑虑。这是我正在寻找答案的问题列表----
- 我在集群中上传了一个大约 500mb 大小的数据文件,然后检查了 hdfs 报告。我注意到我制作的namenode在hdfs中也占用了500mb大小,以及复制因子为2的datanode。这里的问题是我希望namenode不要在上面存储任何数据,总之我不希望它作为数据节点工作,因为它还存储我正在上传的文件。那么有什么办法让它只作为主节点而不是数据节点呢?
我尝试在 Namenode 上运行命令 hadoop -daemon.sh stop 以停止其上的 datanode 服务,但它没有任何帮助。
- Namenode 为通常为 1 GB 的文件大小生成多少元数据?任何近似值?