2

我们需要存储我们的一些数据库的每日和每月快照。

这不是备份,我们需要存储数据以便稍后分析它们并查看它们在此期间如何演变。我们仍然不知道两个月后我们需要什么样的查询,首先我们需要跟踪用户群的一些演变,所以我们将保存用户和其他相关集合的每日快照。

我们正在考虑将所有内容都放在 Google BigQuery 上,这样很容易将数据放在上面,并且更容易对这些数据进行查询。

我们将创建一些表,为我们需要的每组数据创建一个表,其中包含所有需要的列,以及一个包含提取过程完成日期的额外表。我们将使用此列按天、月等对数据进行分组。

另一种方法是为每组数据创建一个数据集,并在每次需要快照时创建一个表。老实说,我不知道这两者之间哪个更好,或者是否有更好的选择。

4

3 回答 3

1

很难说哪个最适合您,因为我不知道您的需求或成本要求。

但是,使用“创建一些表,为我们需要的每组数据创建一个表,包含所有需要的列,再加上一个包含提取过程完成日期的额外表”方法,您可以运行允许的查询您可以查看随着时间的推移您的用户发生了什么变化。例如,您可以说,对于特定时间片,特定用户随时间的平均活动。

于 2013-04-05T07:01:53.647 回答
1

您现在可以在 BigQuery 中创建表快照。

您现在只能使用bq命令行工具。

请参见此处-> https://cloud.google.com/bigquery/docs/table-snapshots-create#creating_table_snapshots

于 2021-06-28T19:57:42.167 回答
1

可能有点晚了,但对于未来的读者:您可能正在寻找日期分区表。它与这个用例完全对应,文档页面中有一个简单的示例。

于 2017-07-05T12:49:27.373 回答