1

我们如何更改 Qubole 中 Spark 提交默认命令行选项中的参数。

虽然在“Spark 提交命令行选项”下有一个选项可以根据需要覆盖这些值，但此选项在 Spark“命令行”中不可用。

4

1 回答 1

0

在 Spark 命令行的情况下，您可以在代码本身中传递配置，如下所示：

/usr/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi -- 
master yarn-client /usr/lib/spark/spark-examples*.jar --conf 
spark.executor.instances=2 --conf spark.logConf=true

参考链接：https ://docs.qubole.com/en/latest/user-guide/analyze/compose-spark.html#compose-a-spark-application-using-the-command-line

于 2020-04-02T16:09:43.300 回答