azure - Azure 云中的 Spark 部署

Question

是否可以在没有纱线组件的情况下在 Azure 云中部署 Spark 代码？提前致谢

Answer 1

是的，您可以在没有 Yarn 的情况下在 Azure HDInsight 中部署 Apache Spark 集群。

HDInsight 中的 Spark 群集包括默认情况下在群集上可用的以下组件。

1）火花核心。包括 Spark Core、Spark SQL、Spark 流 API、GraphX 和 MLlib。

2)蟒蛇

3)李维

4)Jupyter 笔记本

5）齐柏林笔记本

HDInsight 上的 Spark 群集还提供 ODBC 驱动程序，用于从 Microsoft Power BI 和 Tableau 等 BI 工具连接到 HDInsight 中的 Spark 群集。

有关详细信息，请参阅以下网站，

在 Azure HDInsight 中创建 Apache Spark 群集

HDInsight 上的 Spark 简介

Answer 2

我认为没有 YARN 就无法部署 HDInsight 集群。请参阅 HDInsight 文档

• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-hadoop-introduction
• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-component-versioning

YARN 是 Hadoop 的资源管理器。在使用 HDInsight Spark 群集时，您是否有任何不希望使用 YARN 的特殊原因？

如果要使用独立模式，可以在提交作业时使用 Spark-submit 命令修改主 url 的位置。

我的存储库中有一些示例，在本地模式和 HDInsight 群集上都​​使用 Spark-submit https://github.com/NileshGule/learning-spark

你可以参考

• 本地模式：https ://github.com/NileshGule/learning-spark/blob/master/src/main/java/com/nileshgule/movielens/MovieLens.md
• HDInsight Spark 集群：https ://github.com/NileshGule/learning-spark/blob/master/Azure.md