apache-spark - 是否可以将经过训练的 Spark ML 模型或交叉验证器保存到 postgree 数据库？

Question

是否可以将经过训练的 Spark ML 模型或交叉验证器保存到 postgree 数据库？我可以找到将其保存到磁盘或 HDFS 的方法，但我们可以将其保存在 RDBMS（例如 Postgree）表中吗？

Answer 1

一般来说不是。ML 模型使用特定的结构，Parquet 文件存储模型、元数据和可选的数据。可以创建可以在关系数据库中存储相同数据的包装器，但目前 Spark 中没有这样的功能。

对于某些模型子集，您可以：

• 使用 Java 序列化序列化模型。
• 将保存的模型存储为大对象。

这仅限于非分布式模型。