我目前正在使用以下命令将我的 fat jar 提交到 spark 集群。应用fat jar和相关配置在文件夹/home/myapplication
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf
现在我的要求是将外部属性文件/home/myapplication/external-prop.properties添加到驱动程序和工作节点的类路径中。
我搜索了很多资源，但找不到我正在寻找的正确解决方案！
请帮助解决问题。提前致谢
您的要求在于使用spark.executor.extraClassPath配置指向属性文件。但在此之前@philantrovert 已经指出使用--files选项将属性文件复制到工作节点。
所以你正确的命令应该是
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf --files /home/myapplication/external-prop.properties --conf "spark.executor.extraClassPath=./"