0

我正在研究 hive 表分区并使用 spark 客户端来触发请求。我已经创建了表并使用分区插入了数据。当我执行 select 语句时,我可以看到数据,但是当我添加分区时

spark.sql("ALTER TABLE temp_table6 ADD IF NOT EXISTS PARTITION (state = '34' , city = '123')")

第二次以后我无法获取数据。由于 spark 客户端在临时位置寻找分区文件夹temp/temp_table6,因此 spark 抛出如下异常

py4j.protocol.Py4JJavaError: An error occurred while calling o93.showString.
: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/tmp/temp_table6/state=34/city=123

从第二次开始,未在 temp 文件夹下创建分区数据。

4

0 回答 0