acid - 使用 delta Lake 表作为对另一个变化的 delta 表的查找

Question

我有一个场景，我使用一个增量表作为另一个增量表的查找表。如果在查找期间，在操作期间将查找值添加到基础表中，它会在我的查找连接中被拾取吗？

Answer 1

在每个作业开始时，Delta 将选择一张表格快照，用于整个作业期间。Delta 将始终选择作业开始时可用的最新快照，但如果表在作业执行期间发生更改，它将看不到这些更改。