0

我想安装基于 Hadoop 的 Apache HAWQ。

在安装 HAWQ 之前，我应该安装 Hadoop 并配置我的所有节点。

我有四个节点，如下所示，我的问题是打击。

我应该安装一个hadoop发行版hawq-master吗？

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

我在上面的节点旁边写了每个节点的角色。在我看来，我应该安装hadoop for hadoop-master，datanode01并且datanode02我应该设置hadoop-master为namenode（master），其他设置为datanode（slave）。然后，我将在所有节点上安装 apache HAWQ。我将设置hawq-master为主节点和hadoop-masterHAWQ Stand by，最后将另外两个节点设置为 HAWQ 段。

我想要的是安装基于 Hadoop 的 HAWQ。所以，我认为hawq-master应该建立在 hadoop 之上，但与hadoop-master.

如果我继续上述过程，那么我认为我不必在hawq-master. 我的想法是否正确，可以成功安装基于 hadoop 的 HAWQ 安装？

如果应该安装hadoop，hawq-master那么哪个是正确的？

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

任何帮助将不胜感激。

4

1 回答 1

4

老实说，如果配置正确，hadoop 和 hawq 的安装方式并没有严格的限制。

对于您的担忧，“我认为 hawq-master 应该建立在 hadoop 之上，但与 hadoop-master 没有任何联系”。IMO，它应该是“hawq 应该建立在 hadoop 之上”。我们配置了 hawq-master conf 文件(hawq-site.xml) 以使 hawq 与 hadoop 建立连接。

通常，对于hawq master和hadoop master，我们可以将每个组件安装在一个节点上，但我们可以将其中一些组件安装在一个节点上以节省节点。但是对于 HDFS datanode 和 HAWQ 段，我们经常将它们安装在一起。考虑到每台机器的工作量，我们可以如下安装它们：

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment

如果配置 hawq 与 yarn 集成，集群中会有资源管理器和节点管理器。

                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment

将它们安装在一起并不意味着它们有连接，而是您的配置文件使它们可以相互访问。您可以将所有主组件安装在一起，但是对于机器来说可能太重了。在http://incubator.apache.org/projects/hawq.html阅读有关 Apache HAWQ 的更多信息，并在http://hdb.docs.pivotal.io/211/hdb/index.html阅读一些文档。

此外，您可以订阅开发者和用户邮件列表，发送电子邮件至 dev-subscribe@hawq.incubator.apache.org / user-subscribe@hawq.incubator.apache.org 进行订阅，发送电子邮件至 dev@hawq.incubator。 apache.org / user@hawq.incubator.apache.org 提问。

于 2017-02-16T03:10:29.533 回答