0

我在带有结构的 bigquery 中有表

在此处输入图像描述

以及将数据插入测试记录的问题

我尝试以这种方式插入：

query = (
   """
   INSERT INTO test.qwe (name, nick, test)  
   VALUES(@name, @nick, @test)
   """
)
hitTimeStamp = int(time.time())
query_params = [
   bigquery.ScalarQueryParameter("name", "STRING", hitTimeStamp),
   bigquery.ArrayQueryParameter("nick", "STRING", ["k","TEST"]),
   bigquery.StructQueryParameter(
      "test",
       bigquery.ArrayQueryParameter("a", "STRING", ["adsfwerf","d"]),
       bigquery.ArrayQueryParameter("b", "STRING", ["asda","sdfds"]),
   ),
]
job_config = bigquery.QueryJobConfig()
job_config.query_parameters = query_params
query_job = client.query(
   query,
   location="US",
   job_config=job_config,
)

我预计数据将被插入！请...

4

1 回答 1

2

现在我看到几个问题：

  1. 您将nick其视为一个数组，但它被定义为一个STRING.
  2. 您将test其视为包含数组的结构，但NESTED REPEATED实际上是包含structs的数组。

不幸的是，您从库中使用的帮助程序似乎不能正确支持创建（结构数组）字段google-cloud-python所需的输出。NESTED REPEATED有一个问题指出这目前处于“待办事项”状态（尽管被标记为已关闭，但没有解决方案）。

这可以通过其他库以及 BigQuery DML 语法中的本机实现，如下所示：

INSERT INTO test.qwe (name,nick,test)
VALUES(
  "name value",
  "nick value",
  [
    STRUCT("adsfwerf" AS a,"asda" AS b),
    STRUCT("d" AS a,"sdfds" AS b)
  ]
)

（请注意，有几种不同的语法可用于处理ARRAY和STRUCT类型，但这是最简洁的，这也是我在这里选择它的原因。）

因此，作为一种解决方法，您始终可以在提供的帮助程序之外构建查询google-cloud-python，然后运行它。您可能还想查看该问题线程并查看项目维护人员是否可以提供任何其他解决方法或帮助添加该功能 - 或者您可能需要寻找另一个完全支持NESTED REPEATED字段功能的库。

于 2019-07-05T17:42:09.653 回答