sql - 如何在 Databricks 中使用 SQL 将数据集与每周出现的新数据进行比较

Question

我想找到每周和每月更改其值的 id 数量

每周都会将一个新数据集输入数据库，每周都会添加相同的 id 及其值，某些 id 的某些周值会发生变化。

我想找到过去 2 年中我拥有的所有数据的每月和每周的 id 变化量。

所有这些都在数据块中完成

我附上了一个示例数据集，其中为 3 个 id 输入了两个月的数据，并且 2 个 id 更改了它们的值。所需的输出显示我需要的是第二个月显示 2 个更改，第一个显示 0 个更改。

数据集

需要的输出

Answer 1

JOIN对相邻月份和不同值使用子句并应用 GROUP BY 子句。在结果数据集上应用该add_months函数。

add_months(startDate, numMonths)

将startDate获取您的日期，numMonth并将从生成的 GROUP BY 子句中获取值。