google-bigquery - 从查询创建表，同时保留原始模式

Question

我正在使用以下工作流将数据从外部源附加到现有 BigQuery 表：

1. 查询表以获取最新记录：（从test.table中选择 max(lastModifiedData) ）。将此数据保存为“lastMigrationTime”；
2. 在“lastMigrationTime”之后查询更改的记录的 id 的外部源
3. 查询除更新记录之外的所有记录的大查询表：将结果保存到test.tempTable。
4. 将tempTable移动到表（使用删除表，将 tempTable 复制到表，删除 tempTable）。
5. 查询外部源以获取更新的记录并将它们加载到test.table

我面临的问题是表的原始模式包含嵌套元素。我运行的任何查询都会展平架构，迫使我也展平原始架构。我看到的另一个副作用是列名变成了小写。

有什么方法可以保留原始模式（主要是嵌套，但也可以很好地维护案例）？

Answer 1

列名大小写问题是一个已知错误，应该在我们的下一个版本中修复（希望在接下来的几天内）。

保留列嵌套是一个高优先级的功能请求。我们对支持这一点非常感兴趣，但不幸的是，我没有任何时间框架来确定何时完成。