0

我正在寻求一些帮助，我的任务是在工作中建立一个 Hadoop 集群。我已经在家里的笔记本电脑上使用开源堆栈完成了单节点的工作（我试图坚持使用开源的 Apache 堆栈以避免任何许可成本。现在我们对 Cloudera 或 HortonWorks 没有兴趣。）。

我遇到了 Apache BigTop 堆栈 (1.2.0) 并在那里闲逛。现在我仍在试图围绕它提供的内容（我还没有找到对 Hadoop/Spark 版本等的参考）。我可以在以下方面获得一些帮助：

  1. 1.2.0版本提供了哪些Hadoop/Spark/其他工具？

  2. 在 RHEL 7 下从头开始安装完整的 Hadoop/Spark 集群是否有很好的参考？我有 12 台服务器，我计划做 2 个名称节点和 10 个数据节点。BigTop 适合这个，还是我应该只安装每个包并手动配置？

  3. 我发现了以下内容：

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

这看起来很有希望，但它适用于 CentOS 7，我知道它是相似的，但并不完全相同。有人可以建议我如何修改它以在 RHEL 7 下工作吗？我找到了 repos，但没有找到 RHEL....

  1. Apache 官方页面上的文档似乎很薄，或者我只是没有找到正确的位置......是否有很好的链接可以指向完整的集群安装的参考资料？

感谢所有可以提供帮助的人，我真的很感激！

4

1 回答 1

1

1.2.0版本提供了哪些Hadoop/Spark/其他工具？

查看我们的 1.2.0 版本文档：

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

您将获得开箱即用的 hadoop 2.7.3 和 spark 2.1.0。我们在 S3 上提供了可安装的工件供您测试功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意：我们将在 2017 年 10 月 15 日有效地进行 S3 迁移。之后我们将进行相应的更改。如果您想尽快尝试。请将 baseurl 更改为：

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

在 RHEL 7 下从头开始安装完整的 Hadoop/Spark 集群是否有很好的参考？我有 12 台服务器，我计划做 2 个名称节点和 10 个数据节点。BigTop 适合这个，还是我应该只安装每个包并手动配置？

RHEL 和 CentOS 应该非常相似。我建议：

  • 直接在 RHEL 上试用我们的 CentOS 软件包，看看是否可行。我在生产环境中的 RHEL 6 上使用了 Bigtop CentOS 6 软件包，它的工作原理就像一个魅力。
  • 如果上述方法不起作用，Bigtop 是一个完全开源的解决方案，供您构建自己的 Hadoop 发行版。您可以针对您想要的 Distro 构建整个堆栈。从头开始。我们精心设计了工具和 dockerlized 框架来支持它。如果您要这样做，请在 user@bigtop.apache.org 邮件列表中提出您的需求。我们很乐意提供帮助。

我发现以下内容： https ://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

是的。您正在寻找合适的文档。这正是我上面提到的：虽然它适用于 CentOS 7，但您可以尝试 RHEL 7 上的 repo。

于 2017-10-14T14:53:43.807 回答