apache-spark - 缓存表未显示在 Spark UI 的存储选项卡中

Question

我们在我们的项目中使用 Spark SQL 版本 2.4.7 并通过Thrift或有时Spark-Shell从命令行运行 SQL 查询（在 SQL API 中），如下所示：-

节俭（SQL 工作台）：

CACHE TABLE my_table;

或者

火花壳：

scala> spark.sql("""CACHE TABLE my_table""")

我试图通过首先在内存中估计 Spark SQL表caching的大小，然后检查Storage选项卡Spark UI以获得该表的大致大小估计。

不幸的是，我上面使用的这些方法都没有Storage在Spark UI. 我在互联网上进行了很多搜索，但没有找到任何确凿的解决方案。

任何人都可以帮助确定问题并提供解决方案，以便缓存表显示在 UI 中吗？

谢谢。