hive - 数据存在于 HDFS 中，但未在配置单元表中获取

Question

我已经通过 spark 程序从 hive 表中加载了记录，数据成功加载到 HDFS 中，但没有在 Hive 表中获取记录。

请在下面找到我们正在使用的压缩技术。

  sprark.write
        .option(Parquet.compress,SNAPPY)
        .format(parquet)
        .mode(SaveMode.Append)
        .save(s${tablePath}/${dbName}.${targetTableName})

请给我这个问题的解决方案。

Answer 1

请试试这个。df.repartition(1).write.format("parquet").insertInto('DbName.TableName',overwrite=True)