hadoop - 使用 yum 安装 Apache Spark

Question

我正在我组织的 HDP 框中安装 spark。我运行yum install spark并安装 Spark 1.4.1。如何安装 Spark 2.0？请帮忙！

Answer 1

HDP 2.5 支持 Spark 2（作为技术预览）。您可以将特定的 HDP 2.5 存储库添加到您的 yum 存储库目录中，然后安装相同的存储库。Spark 1.6.2 是 HDP 2.5 中的默认版本。

wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/hdp.repo

sudo cp hdp.repo /etc/yum.repos.d/hdp.repo

sudo yum install spark2-master

或 sudo yum install spark2（我尝试时似乎也在做同样的事情）

查看 HDP 2.5 中的新功能http://hortonworks.com/products/data-center/hdp/

有关 repos 的完整列表，请参阅https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_release-notes/content/download-links-250.html