parameters - 通过 Zeppelin 使用附加参数运行 Spark

Question

我希望 Zeppelin 使用几个附加参数（--total-executor-cores 200 --executor-memory 20g --driver-memory 5g）启动 Spark 我正在尝试通过 Zeppelin UI 将这些参数添加到 spark 解释器。我单击编辑按钮并添加这三个参数，但是当我单击保存时它们消失了，我可以看到我的 Spark 是由 Zeppelin 启动的，没有这些参数。

你能给我一个提示，我怎样才能让 Zeppelin 使用其他参数启动 Spark？

Answer 1

看看conf/zeppelin-env.sh（或conf/zeppelin-env.sh.template）。在“Spark 解释器配置”部分下该文件的注释中：

# export SPARK_SUBMIT_OPTIONS                   # (optional) extra options to pass to spark submit. eg) "--driver-memory 512M --executor-memory 1G".