我正在使用spark.read.jdbc非常大的方法查询数据库并收到以下错误:
com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (15,913,800 > 4,194,304)
这表明检索到的数据太大。
我没有更改数据库设置的选项,我需要能够检索所有数据,所以我想以块的形式读取数据并将结果作为数据框。我怎样才能做到这一点?
例如,在 python 中,我可以使用 pandas 查询数据库并以块文档的形式读取它