1

我需要在我的 cloudera CDH4 集群设置上运行简单的基准测试。我的 cloudera 集群设置 (CDH4) 有 4 个节点，A、B、C 和 D 我正在使用 cloudera manager 免费版来管理 cloudera 服务。每个节点都配置为执行多个角色，如下所述。A：NameNode、JobTrackerNode、regionserver、SecondaryNameNode、DataNode、TaskTrackerNode B：DataNode、TaskTrackerNode C：DataNode、TaskTrackerNode D：DataNode、TaskTrackerNode

我的第一个问题是，一个节点可以是 NameNode 和 DataNode 吗？这个设置可以吗？我的第二个问题是，在 cloudera manager UI 上，我可以看到许多服务正在运行，但我不确定我是否需要所有这些服务？在我的设置上运行的服务是：hbase1 hdfs1 mapreduce1 hue1 oozie1 zookeeper1

我只需要 hdfs1 和 mapreduce1 服务吗？如果是，我该如何删除其他服务？

云和 hadoop 概念对我来说是新的，如果我的一些假设不合逻辑或错误，请原谅我。

4

1 回答 1

3

你的第一个问题的答案是肯定的。但是你永远不会在生产中这样做，因为 NameNode 需要足够的 RAM。人们通常只在他们的主节点上运行 NameNode+JobTracker。在另一台机器上运行 SecondarNameNode 也更好。

关于第二个问题，Cloudera Manager 不仅是 Hadoop。它是一个完整的包，包括几个 Hadoop 子项目，如 HBase（一个 NOSQL DB）、Oozie（一个工作流引擎）等，这些是您在 UI 上看到的过程。

如果你只想玩 Hadoop，HDFS 和 MapReduce 就足够了。您可以从 UI 本身轻松停止其余进程。它不会对您的 Hadoop 集群造成任何伤害。

高温高压

于 2012-12-23T18:51:24.907 回答