dbt - Bigquery：带有 ARRAY 字段的 dbt 种子

Question

我想使用种子加载我在 BigQuery 上的一些小型配置表。到目前为止，我成功地做到了，但现在我有一个带有数组字段的表。我将数组放在通常的 BigQuery 格式 ["blablabla"] 中，但没有运气。我尝试在 dbt_prject.yml 中强制使用数据类型，但出现“ARRAY 不是有效值”错误。有人曾经在结构化字段中使用过播种吗？丹尼尔

Answer 1

不幸的是，我认为这是不可能的。从一些在线研究来看，这似乎是以下因素的共同限制：

• dbt在此处调用的 BigQuery LoadJobConfig API
• CSV 文件格式，它实际上没有办法指定嵌套模式（相关问题）

对此的长期解决方案可能是支持 JSON 格式的种子 ( dbt#2365 )。

同时，我建议您在暂存模型中将种子列类型设置为string并将其转换为数组（使用json_extract_array）。