0

我有一个概念上的疑问。

这将是关于 YARN 和 SPARK,我有一个 2 YARN (AM) 28GB 和 4 个 CPU 和一个 56GB 的 WORKNODE 和 8 个 CPU。

我总是通过 spark-submit 选项中的 YARN yarn-cluster 提交我的申请。

如果 YARN 服务器的资源较少,我如何使用所有内存和工作节点 cpu?

工作节点设置可以与 YARN 设置重叠吗?

如果我的“spark.executor.memory”参数大于 YARN 内存,会​​使用还是不使用?

充分利用我的工作节点的潜力?

4

0 回答 0