图schedule()中Master.scala显示了第一个计划任务是在 Workers 上调度驱动程序。由于 Master 将仅启动独立模式，驱动程序将在 Spark 集群外的客户端上运行。
为什么master需要调度一个Worker来运行Driver？
问问题
51 次
1 回答
1
如果您指的是private def schedule(): Unit，则该方法会调度正在spark-submit使用的 Spark 应用程序的驱动程序--deploy-mode cluster。
从使用 spark-submit 启动应用程序（从集群模式概述链接）：
--deploy-mode是否将驱动程序部署在工作节点（
cluster）或本地作为外部客户端（client）（默认值client：）
在cluster部署模式下，驱动程序在集群中的工作人员上运行（与集群管理器、Spark Standalone、Hadoop YARN 或 Apache Mesos 无关）。Spark 执行器也是如此。
于 2017-05-21T10:59:21.690 回答