scala - 无法从引发 serde 异常的 spark 将数据帧保存为配置单元表

Question

我已经在数据框中加载了我的一个表并尝试将其保存为配置单元表

var RddTableName= objHiveContext.sql("select * from tableName")
val dataframeTable = RddTableName.toDF()
dataframeTable.write.format("orc").mode(SaveMode.Overwrite).saveAsTable("test.myTable")

我遇到异常 org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: cannot find field mytable from [public java.util.ArrayList org.apache.hadoop.hive.serde2.ColumnSet.上校]

Answer 1

首先设置 hcontext.sql("use database") 你不能把数据库放在 saveAsTable

Answer 2

发生上述异常是因为我试图覆盖在此处查找现有表“myTable”（但它不存在），因此要创建一个新表，我们必须使用 saveMode.Ignore 或 ErrorIfExists。您可以通过映射其路径在选项中提及数据库名称