azure - 在为 Starburst Presto 创建 Azure HDInsight 群集时，我可以创建 Spark 群集吗？

Question

在为大数据创建基础架构时，我想在 Presto 安装中使用 Azure HDInsight。Azure HDInsight 带有不同的风格，如 hadoop、spark 等。在文档中建议使用 hadoop 集群，但我想使用 spark 之一。

是否可以在 Starburst 的 Presto 发行版中使用 spark 集群？

Answer 1

看起来您想同时使用 Presto 和 Spark。如果在单个集群上运行它们，则需要适当地配置它们以确保不同进程的 JVM 可以共存。这是可能的，但在实践中很难做到（你需要知道JVM如何分配超出-Xmx设置的内存），所以绝对不推荐。

虽然我可以想象，在一些很难配置新硬件的本地安装中，您可能希望将服务托管在一个集群上。在云中，配置两个单独的集群要方便得多，每个集群的大小都适合您的特定需求和工作负载。例如，您可以拥有一个带有 Presto 的集群，用于交互式分析、仪表板和即席查询。另一个使用 Spark 用于机器学习或 ETL 工作负载。

有关详细的配置说明，请参阅Azure 文档中的 Starburst Presto 。