apache-spark - 有没有办法使用 API 提交火花作业

Question

我可以使用控制台在 linux 服务器上提交 spark 作业。但是是否有任何 API 或一些框架可以在 linux 服务器中提交 spark 作业？

Answer 1

您可以使用端口 7077 在 spark 集群中提交 spark 作业，而不是使用 spark-submit。

val spark = SparkSession
.builder()
.master(spark://master-machine:7077)

Answer 2

您可以查看 Livy 服务器。它在 Apache Hadoop 的 Hortonworks 和 Cloudera 发行版中处于 GA 模式。我们已经取得了很好的成功。它的文档足以开始使用。Spark 作业在通过 Livy 提交时会立即启动，因为它内部运行了多个 SparkContext。