我有一个 Spark 结构化流式传输作业,该作业运行了大约 3 周。当我在 spark web UI 上打开 Executors 选项卡时,它显示
memory used - 36.1GB
total available memory for storage - 3.2GB
对于这个应用程序执行器内存设置为 6GB。
请参考以下 Spark UI 截图
我不确定我应该如何解释这些信息。
我有一个 Spark 结构化流式传输作业,该作业运行了大约 3 周。当我在 spark web UI 上打开 Executors 选项卡时,它显示
memory used - 36.1GB
total available memory for storage - 3.2GB
对于这个应用程序执行器内存设置为 6GB。
请参考以下 Spark UI 截图
我不确定我应该如何解释这些信息。