azure-databricks - 在单个事务中将数据从 Azure Delta Lake 和 Azure Data Bricks 加载到 Postgres SQL（插入 10 个数据表并回滚任何错误）

Question

我想将数据（大约 10 个表）从 Azure delta Lake 加载到 azure postgressql。我已经在 azure 数据砖中尝试过 jdbc 连接。我可以将数据从 delta Lake 插入和读取到 postgressql。但无法实现原子性（在单个事务中插入所有表数据）。您能否提供更好的方式将 azure delta Lake 连接到 postgressql 以及如何实现原子性？

数据频率是来自源的每小时馈送，并且数据量非常巨大。谢谢你。

Answer 1

如果我理解得很好，您希望每小时对所有 postgresql 操作都有一个原子性，对吗？

您应该默认停用 AutoCommit conn.setAutoCommit(false)，并在 10 个 upserts 通过 jdbc 成功时显式提交conn.commit()。