apache-spark - 什么是数据块火花增量表？他们是否还存储特定会话的数据以及如何查看这些增量表及其结构

Question

火花增量表的目的是什么？他们是打算永久存储数据还是只保留处理数据直到会话结束。如何在 spark 集群中查看它们以及它们所属的数据库。

Answer 1

火花增量表的目的是什么？

主要目标是在多集群设置中启用单表跨国写入。这是通过保留事务日志来实现的（这与典型数据库系统中的仅附加表非常相似）。

他们是打算永久存储数据还是只保留处理数据直到会话结束。

存在持久性，并且根据定义在会话范围内。

. 如何在 spark 集群和什么数据库中查看它们

与 Spark 中的任何其他表相同。没有特定于任何数据库，并使用delta格式编写。