0

我正在使用 spark 和 scala 开发一个应用程序，并使用 spring 来读取配置文件。

我的环境特定文件在该目录中可用，如下所示

源/主/资源/DEV

      mms_kafka.properties

      mms_app.properties

      pps_kafka.properties

      pps_app.properties

以及 src/main/resoruce 下的常见文件，如下所示

源/主/资源

mmsmappings.properties 

ppsmappings.properties

目前，我正在做如下工作并且工作正常

@PropertySource(value = Array("classpath:${ENV}/mms_app.properties","classpath:${ENV}/mms_kafka.properties","classpath:$mmsmapping.properties"), ignoreResourceNotFound=false)

Spark submit command: spark2-submit --master yarn --deploy-mode client --class job.Driver --conf 'spark.driver.extraJavaOptions=-DENV=DEV' --driver-memory 4g --executor-memory 16g --num-executors 4 --executor-cores 4  temp-0.0.1-shaded.jar

但是我想读取特定前缀（mms/pps）的所有文件，如下所示，我试过了，但它给出了 ENV 并且 APP 占位符无法解析

@PropertySource(value = Array("classpath:${ENV}/${APP}_app.properties","classpath:${ENV}/${APP}_kafka.properties","classpath:${APP}mapping.properties"), ignoreResourceNotFound=false)


Spark submit command: spark2-submit --master yarn --deploy-mode client --class job.Driver --conf 'spark.driver.extraJavaOptions=-DENV=DEV' --conf 'spark.driver.extraJavaOptions=-DAPP=mms' --driver-memory 4g --executor-memory 16g --num-executors 4 --executor-cores 4  temp-0.0.1-shaded.jar

我应该如何解决这个问题？

4

1 回答 1

0

我通过在 spark 作业中传递参数来解决这个问题，如下所示

spark2-submit --master yarn --deploy-mode client --class com.job.Driver --conf 'spark.driver.extraJavaOptions=-DENV=DEV -DAPP=mms' --driver-memory 4g --executor-memory 16g --num-executors 4  --executor-cores 4 test.jar
于 2018-07-27T13:33:44.910 回答