我们需要存储我们的一些数据库的每日和每月快照。
这不是备份,我们需要存储数据以便稍后分析它们并查看它们在此期间如何演变。我们仍然不知道两个月后我们需要什么样的查询,首先我们需要跟踪用户群的一些演变,所以我们将保存用户和其他相关集合的每日快照。
我们正在考虑将所有内容都放在 Google BigQuery 上,这样很容易将数据放在上面,并且更容易对这些数据进行查询。
我们将创建一些表,为我们需要的每组数据创建一个表,其中包含所有需要的列,以及一个包含提取过程完成日期的额外表。我们将使用此列按天、月等对数据进行分组。
另一种方法是为每组数据创建一个数据集,并在每次需要快照时创建一个表。老实说,我不知道这两者之间哪个更好,或者是否有更好的选择。