hadoop - Spark如何部署，资源利用率最高

Question

我有10台服务器（16G内存，8核），想部署Hadoop和Spark，请问哪个方案可以最大限度的利用资源？

1. 立即部署；

2. 安装Openstack，将环境部署到虚拟机中；

3. 使用 Docker，例如 Docker 上的 Spark；

我知道与使用场景相关的资源利用率，其实我想知道上面三个方案的优缺点。

谢谢你。

Answer 1

为了获得最高的资源利用率，为 Spark 和 Hadoop 部署一个资源管理器将是最好的方法。有两种选择：

• 使用 YARN 部署 Hadoop 集群，因为 Spark 可以在YARN上运行。
• 部署 Apache Mesos 集群，并在其上运行 Hadoop 作业和 Spark。

隔离 Spark 集群和 Hadoop 集群并没有什么优势，而且会导致更高的开销和更低的资源利用率。