当我使用以下设置启动 spark 应用程序时（默认为yarn-client模式）工作正常
spark_memory_setting="--master yarn --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"
问题
而当我将部署模式更改为集群时，应用程序无法启动。甚至没有抛出任何错误继续前进。
spark_memory_setting="--master yarn-cluster --deploy-mode=cluster --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"
日志
18/01/08 01:21:00 WARN 客户端：spark.yarn.am.extraJavaOptions 在集群模式下不会生效
这是记录器的最后一行。
欢迎提出任何建议。
这里要强调的一个重要想法是，正在尝试部署的 spark 应用程序启动 apache thrift 服务器。经过我的搜索，我认为它的节俭因为无法在集群模式下运行纱线。在集群模式下运行的任何帮助。