1
sampleDf = spark.createDataFrame([(1, 'A', 2021, 1, 5),(1, 'B', 2021, 1, 6),(1, 'C', 2021, 1, 7),],['msg_id', 'msg', 'year', 'month', 'day'])
sampleDf.show()
sampleDf.write.format("parquet").option("path", "/mnt/datalake/test").mode("append").partitionBy("msg_id","year", "month", "day").saveAsTable("test_rawais") 

结果如下表:
在此处输入图像描述

现在,当我将此 parquet 表转换为 delta 表时,出现以下错误。 在此处输入图像描述

如果我直接创建一个新的增量表而不是“转换为增量”,那么它可以工作。 在此处输入图像描述

任何输入都会有所帮助。谢谢。

4

0 回答 0