json - 将 json 格式数据加载到 google bigquery 性能问题

Question

我已将JSON格式数据结构加载到 Google bigquery“嵌套”表中（我有 2 级嵌套“重复”记录），行的平均长度JSON为 5000 个字符。加载时间比将平面文件（总大小相同）加载到 Google bigquery 中要慢得多。

1. json加载到嵌套记录时的“经验法则”是什么？

2. 我怎样才能提高我的表现？

3. 在性能查询方面，从嵌套表中检索日期是否也比平面表慢得多？

请帮助，我发现很难在该领域找到有经验的“DBA”

问候

Answer 1

1. 我不知道 json 导入应该更慢的任何原因，但我们还没有对它们进行基准测试。

2. 如果性能很慢，最好将导入分成块并将多个源文件传递到加载作业中。

3. 从嵌套表中检索数据不应该更慢（并且可能更快）。列式存储格式应该比相应的平面表更有效地存储您的嵌套数据。