我有一个包含大约 200 万条记录的 hive orc 表,目前要更新或删除我正在将整个表加载到数据帧中,然后更新并保存为新数据帧并通过覆盖模式保存(下面是命令),所以要更新单个记录我需要加载和处理整个表格数据吗?
我无法执行 objHiveContext.sql("update myTable set columnName=''") 我使用的是 Spark 1.4.1、Hive 1.2.1
myData.write.format("orc").mode(SaveMode.Overwrite).saveAsTable("myTable")
其中 myData 是更新的数据框。
我怎样才能摆脱加载整个 2-3 百万条记录只是为了更新配置单元表的单个记录。