0

我在 GCP 中的 Dataproc 上运行 Apache Spark 并通过sparklyr. 在我的配置中,我在启用自动缩放的情况下运行。因此,一旦创建 sc,它就会在 YARN 中显示为一个应用程序,我可以使用 YARN 界面监控容量。

当我执行 sparklyr 代码时,在我的 Dataproc 界面中,它还指示称为 YARN Pending memory 的东西。我的问题是,如果我在 YARN 中将 sparklyr 作为单个应用程序运行,那么这个 YARN 未决内存意味着什么。

4

0 回答 0