0

我正在运行一个 spark 应用程序，它将使用文件中的配置参数。

文件：- Spark.conf

username=ankush
password=ankush
host=https://
port=22
outputDirectory=/home/ankush/data/

如何在运行时使用此文件。当我们更改配置文件时，如何让作业在运行时动态选择文件，而不是重新启动作业。

我尝试将它与 spark-submit using 一起使用--conf spark.yarn.appMasterEnv，但这是在寻找一个不是文件的变量。

有没有可能实现这一点。

在此先感谢您的帮助。

4

1 回答 1

0

您可以将变量保存在 conf/spark-defaults.conf 文件中。

参考： https ://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties

于 2017-09-01T05:47:18.623 回答