apache-spark - Apache Spark 和 Livy 集群

Question

设想 ：

• 我有火花簇，
  我也想使用 Livy。
• 我是新来的李维

问题 ：

• 我使用 docker swarm 构建了我的 spark 集群，
  我还将为 Livy 创建一个服务。

• Livy 可以与外部 spark master 通信并向外部 spark master 发送作业吗？
  如果可以，需要做哪些配置？
  或者 Livy 应该安装在 spark 主节点上？

Answer 1

我想有点晚了，但我希望这对你有帮助。

对不起我的英语，但我是墨西哥人，你可以使用 docker 通过 livy 发送工作，但你也可以使用 livy 发送工作 throw Livy REST API。

livy 服务器可以在 spark 集群之外，您只需向 livy 发送一个指向您 spark 集群的 conf 文件。

看起来您正在独立运行 spark，配置 livy 工作的简单方法是 livy 位于 spark 主节点上，如果您的集群机器上已经有 YARN，您可以在任何节点上安装 livy 并在 yarn-cluster 中运行 spark 应用程序或纱线客户端模式。