1

我正在尝试通过使用 apache big top 了解如何使用 ambari 部署 hadoop 集群

根据最新发布的 bigtop 1.5： https ://blogs.apache.org/bigtop/

我的理解是 Bigtop Mpack 是作为一项新功能添加的，它使用户能够通过 Apache Ambari 部署 Bigtop 组件。

我可以通过命令行安装 Bigtop 组件，但没有找到任何关于如何通过 ambari 安装这些 bigtop hadoop 组件的文档。

有人可以帮我重定向到一些文档，告诉我如何通过 ambari 安装各种 hadoop 组件（bigtop 包）吗？

谢谢，

4

3 回答 3

2

我来自 Bigtop 社区。虽然我没有一个全面的答案。Bigtop 用户邮件列表最近进行了一次讨论，其中有几个技术细节可以回答您的问题：

https://lists.apache.org/thread.html/r8c5d8dfdee9b7d72164504ff2f2ea641ce39aa02364d60917eaa9fa5%40%3Cuser.bigtop.apache.org%3E

OTOH，随时欢迎您加入邮件列表并提出问题。我们的社区很活跃，很乐意回答问题。

于 2021-05-05T03:16:27.023 回答
1

我已经能够用 VM 测试 Matt Andruff 的理论。这是我的过程，也是我停下来的地方；

  1. 构建了 Apache BigTop 1.5.0 的 repo
  2. 使用 Gradlew 构建 BigTop
  3. 在我的系统上安装了 Apache Ambari 2.6.1
  4. 启用 BigInsights 构建版本 xml 文件并修改包版本号以匹配我的 Bigtop 构建

注意：如果您愿意，您也可以构建自己的版本文件，如 Matt 提到的

  1. 设置一个网络服务器来托管你的包 repo
  2. 将您的 xml 版本文件存储库指向您的本地网络服务器以获取软件包

从那里您可以像往常一样完成软件包的安装。

到目前为止，我只使用单个 VM 完成了此操作，并且将在接下来的几周内尝试使用 AWS 启动一个小型集群。

于 2021-08-05T15:46:04.320 回答
1
  1. 构建Big Top 的 repo
  2. 要使用 Ambari 安装该 repo，您​​必须注册 stack/version。您将需要创建一个版本文件。我在这里找到了一个例子。
  3. 像使用普通构建一样完成安装

这是高度理论化的（..以前没有这样做过..）我之前使用过 BIGTOP Mpack 处理了其中的一些工作，但它还没有准备好生产，并且可以使用旧版本的 Ambari，而不是最新。（我能够安装/停止/启动 HDFS/Hive）。上面的这些说明应该适用于任何版本的 Ambari。

于 2021-05-25T14:25:24.233 回答