apache-spark - 如何通过 Apache Livy 设置 --master、--deploy-mode、--driver-class-path 和 --driver-java-options？

Question

我想在通过 Apache Livy 触发作业时为 Spark 作业设置master、 spark deploy-mode、driver-class-path和driver-java-options，而无需在这些设置更改时重新启动 Livy 服务器。由于在 Livy 中没有直接的选择，如何做到这一点？

Answer 1

Livy 不会在 REST 调用中将masteranddeploy-mode作为参数。这些值将取自livy.conf如下所示：

livy.spark.master = yarn
livy.spark.deploy-mode = cluster

上面的配置提到master是yarn，deploy模式是cluster。和可以使用参数通过 livyspark.driver.extraClassPath设置。spark.driver.extraJavaOptionconf

一个例子：

"conf":{ "spark.driver.extraClassPath":"<YOUR_EXTRA_CLASSPATH>",
         "spark.executor.extraJavaOptions":"-Dlog4j.configuration=/app/log4j.properties"}