我在 GCP 中的 Dataproc 上运行 Apache Spark 并通过sparklyr. 在我的配置中，我在启用自动缩放的情况下运行。因此，一旦创建 sc，它就会在 YARN 中显示为一个应用程序，我可以使用 YARN 界面监控容量。
当我执行 sparklyr 代码时，在我的 Dataproc 界面中，它还指示称为 YARN Pending memory 的东西。我的问题是，如果我在 YARN 中将 sparklyr 作为单个应用程序运行，那么这个 YARN 未决内存意味着什么。
我在 GCP 中的 Dataproc 上运行 Apache Spark 并通过sparklyr. 在我的配置中，我在启用自动缩放的情况下运行。因此，一旦创建 sc，它就会在 YARN 中显示为一个应用程序，我可以使用 YARN 界面监控容量。
当我执行 sparklyr 代码时，在我的 Dataproc 界面中，它还指示称为 YARN Pending memory 的东西。我的问题是，如果我在 YARN 中将 sparklyr 作为单个应用程序运行，那么这个 YARN 未决内存意味着什么。