我正在尝试更改作为分区表的外部配置单元表的非分区列的数据类型?
例如,我有一个名为trans的分区表,其中有 5 列。 交易(数据类型 = 字符串),产品(数据类型 = 字符串),数量(数据类型 = 小数(7,2)),年份(数据类型 = int),周(数据类型 = int),日期(数据类型 =日期)
trans 表是外部的,并按年、周、日期分区。
现在我必须将数量的数据类型从十进制(7,2)更改为十进制(15,2)。我们怎么做?我不想用更新的数据类型重新处理整个表。是否有任何直接查询或命令来实现这一点?
我确实使用了命令/查询:
ALTER TABLE trans CHANGE quantity quantity decimal(15,2);
但这正在更改配置单元元存储中元数据的数据类型,但未更改数据级别的数据类型,这意味着 Parquet 文件中它没有更改数据类型,因此当我尝试从 spark 中选择数量列时,我得到了下面提到的错误。
Py4JJavaError: An error occurred while calling o108.showString.
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 10 times, most recent failure: Lost task 0.9 in stage 2.0 : java.lang.UnsupportedOperationException: org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainIntegerDictionary