0

使用 Apache Spark 连接到 Presto 时不支持类型 JAVA_OBJECT

我正在尝试将 presto sql 查询写入数据框，但出现错误

py4j.protocol.Py4JJavaError: An error occurred while calling o87.load.
: java.sql.SQLException: Unsupported type JAVA_OBJECT

这适用于简单查询，但在查询中使用 map_from_entries 时会产生问题，如下所示：

query="select A, B, map_from_entries(ARRAY[('C', C),('D', D),('E', E)) as data from db.table_name"

我正在使用的代码如下：

readDF = spark.read \
                                   .format("jdbc") \
                                   .option("url", url) \
                                   .option("driver", PRESTO_DRIVER_NAME) \
                                   .option("user", self.presto_username) \
                                   .option("query", self.query) 
                                   .load()

我该如何解决这个问题，有没有办法将此查询保存到数据框？

4

0 回答 0