apache-spark - Spark 应用程序覆盖 yarn-site.xml 配置参数

Question

我需要在yarn-site.xml提交 Spark 应用程序时覆盖一个 Yarn 配置参数。我可以将它作为额外的参数传递给spark-submit吗？

我要覆盖的参数是yarn.nodemanager.vmem-check-enabled

Answer 1

您可以在使用 spark-submit 提交作业时使用 --conf

--conf "yarn.nodemanager.vmem-check-enabled"

或者你也可以在你的程序中设置代码为SparkSession.conf.set

从文档

Spark 应用程序的配置。用于将各种 Spark 参数设置为键值对。

大多数情况下，您将使用 new SparkConf() 创建一个 SparkConf 对象，该对象将从任何 spark.* 加载值。您的应用程序中设置的 Java 系统属性也是如此。在这种情况下，您直接在 SparkConf 对象上设置的参数优先于系统属性。

对于单元测试，您还可以调用 new SparkConf(false) 跳过加载外部设置并获得相同的配置，无论系统属性是什么。

此类中的所有 setter 方法都支持链接。例如，您可以编写 new SparkConf().setMaster("local").setAppName("My app")。