hadoop - 可以只安装 Hadoop HDFS 吗？

Question

我是 Hadoop 世界的新手，我需要使用 Hadoop HDFS 安装 mesos 以创建容错分布式文件系统，但所有安装参考都包含我的场景所需的组件，例如：MapReduce。

您对此有任何想法或参考吗？

Answer 1

绝对有可能。不要认为 Hadoop 是一个可安装的程序，它只是由运行在集群内不同节点上的一堆 java 进程组成。

如果你使用 hadoop tar ball，如果你只想要 HDFS，你可以只运行 NameNode 和 DataNodes 进程。

如果您使用其他 hadoop 发行版（例如 HDP），我认为 HDFS 和 mapreduce 来自不同的 rpm 包，但同时安装这两个 rpm 包是有害的。如果您只需要 HDFS，再次运行 NameNode 和 DataNodes。