-1

我是 Hadoop/Cloudera 世界的新手，我需要在 Microsoft Azure 云上设置一个 Cloudera 集群。如果我理解正确，有两种方法可以在集群上安装 Cloudera：使用 Cloudera Manager 或手动安装。根据这个模式，Cloudera Manager 和 3 个主节点似乎需要一台专用机器。

在此处输入图像描述

但在这张表中，我似乎可以直接在主节点上安装 Cloudera Manager。

在此处输入图像描述

所以这是我的疑问/问题：

  • 1）是否有必要在专用机器上安装 Cloudera Manager（如果是，为什么）？或者可以直接安装在主节点上吗？
  • 2）为什么有3个主节点？据我了解，可以使用2个主节点来实现高可用性（它们是彼此的镜像，具有相同的配置和服务，可以用于热切换）。第三个主节点的目的是什么，为什么它与其他两个不同？
  • 3) Cloudera Director 的用途是什么，与 Cloudera Managera 有哪些不同？我读过它可以用于自动部署到云，但我不清楚我到底可以使用它什么。

提前感谢您提供任何信息。

4

1 回答 1

1

您可以从位于https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cm_ig_host_allocations.html的 Cloudera 文档中看到，您可以拥有不同数量的主节点，具体取决于您的集群大小和高可用性要求：

  • 对于最多 10 个工作节点且没有高可用性的小型集群，您可以只有一个主节点（不推荐用于生产）
  • 对于具有高可用性的小型集群，您可以有两个主节点
  • 一个更大的集群（最多 200 个工作节点）可以有三个主节点 - 请注意，他们的示例仅运行两个 NameNode 实例，因为其目的是将工作负载分散到更多节点上，而不是对该角色进行多数投票。
  • 多达 1000 个工作节点和五个主节点。

同样，用于 Cloudera Manager 的实用程序主机在上述前两种情况下用于所有 Utility 和 Edge 角色，然后随着集群大小变大，显示更多实用程序主机，在这些情况下 Cloudera Manager 是唯一运行的实用程序在它的主机上。

https://www.cloudera.com/products/product-components/cloudera-director.html描述了 Cloudera Director，它是一个帮助您在公共云（AWS/Azure/Google Cloud）中运行 Hadoop 集群的工具。Cloudera Director 与 Cloudera Manager 一起提供云集群的集中管理。https://www.cloudera.com/documentation/director/2-2-x/topics/director_cdh_cluster_management.html也是Cloudera Director 和Cloudera Manager 区别的有用参考。

于 2017-11-24T14:01:32.027 回答