google-bigquery - 有没有办法估计 BigQuery 中的表或字段大小？

Question

我正在设计一个用于分析的模式。为了正确地决定我对数据的非规范化要走多远，我需要估计目标模式中列的大小。我正在寻找一种方法来根据我拥有的信息（数据类型、基数、平均（或百分位数）字符串长度、记录数等）来预测 BQ 表中列的大小。

是否有任何启发式或其他方法来粗略估计列大小？

谢谢

Answer 1

BigQuery 字段的大小取决于类型：

• 布尔值：1 个字节
• 整数：8 个字节
• 浮点数：8 个字节
• 时间戳：8 个字节
• STRING：UTF8编码长度+2字节

有一些特殊情况：

• NULL 值（对于任何类型）：0 字节
• REPEATED 字段：重复字段中值大小的总和。