我有一个概念上的疑问。
这将是关于 YARN 和 SPARK,我有一个 2 YARN (AM) 28GB 和 4 个 CPU 和一个 56GB 的 WORKNODE 和 8 个 CPU。
我总是通过 spark-submit 选项中的 YARN yarn-cluster 提交我的申请。
如果 YARN 服务器的资源较少,我如何使用所有内存和工作节点 cpu?
工作节点设置可以与 YARN 设置重叠吗?
如果我的“spark.executor.memory”参数大于 YARN 内存,会使用还是不使用?
充分利用我的工作节点的潜力?