delta-lake - 如何更新 Delta 中分区列的值？

Question

我想知道，是否可以更新对增量表进行分区的列的“值”？

该表在特定列上分区，现在我想更新该特定列的值。我可以这样做吗？

---

（在slack上找到）

Answer 1

使用replaceWhere选项。

引用Replace table schema的官方文档：

默认情况下，覆盖表中的数据不会覆盖架构。使用mode("overwrite")without覆盖表时replaceWhere，您可能仍希望覆盖正在写入的数据的架构。overwriteSchema您可以通过将选项设置为 来替换表的架构和分区true。

引用文章Selectively update Delta partitions with replaceWhere：

replaceWhereDelta 使使用该选项更新某些磁盘分区变得容易。

replaceWhere当您必须运行计算量大的算法时特别有用，但仅限于某些分区。