apache-spark - Spark Thrift 在会话之间维护缓存

Question

在 Spark Thrift 中，当使用 beeline 客户端时，是否可以：

1. 用户使用直线连接到服务器并创建一个缓存表。
2. 用户使用直线（不同的会话）再次连接到服务器，并且可以使用在上一个会话中创建的缓存表。

我测试了这个工作流程，并且在 1. 我可以在 Spark UI 中看到缓存表在那里。当我在 1. 中完成会话时，桌子仍然在那里。但是当我与同一个用户重新连接时，我无法使用它。

Answer 1

据我所知，你不能这样做。跨应用程序（Spark Contexts 或 Spark Sessions）共享 RDD、DataFrames 和 Datasets 是 Alluxio 的用武之地。 https://www.alluxio.org/在 Spark 目录中包括 Spark SQL 表。但是，您始终可以将其写入配置单元表。