问题标签 [bq]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
348 浏览

google-bigquery - Big Query bq 查询命令在输出时隐藏 DML?

我想在不将语句内容回显到标准输出的情况下运行多语句查询。单语句查询不回显语句,如此处所示...

...产生...

select current_timestamp()不回显,而多语句查询则回显语句......

...产生...

我希望有时能够关闭此功能,这样它就不会弄乱我的输出。(我在命令行上运行多个 bq 查询作为开发测试硬度的一部分)。

这可能吗?

0 投票
2 回答
212 浏览

google-cloud-platform - 如何将多字字符串作为参数传递给 Google BigQuery 中的 bq 查询命令?

如何将多字字符串作为参数传递给 Google BigQuery 中的 bq 查询命令?

我的命令:

值="参数 1 参数 2"

bq 查询\--use_legacy_sql=false\--parameter=param_value:string:$value\"select @param_value"

低于错误 lahu_bhawar@cloudshell:~ (my_gcp_project)$ bq query \

--use_legacy_sql=false \ --parameter=param_value:string:$value \ "select @param_value" 查询字符串错误:错误处理作业 'my_gcp_project:bqjob_r26e14ba47326f8d7_00000171000bf599_1':语法错误:在 [1:1] 处出现意外标识符“param2” lahu_bhawar@cloudshell:~ (my_gcp_project)$

0 投票
0 回答
254 浏览

bash - 如何在 BigQuery CLI 中捕获错误?

我编写简单的 bash 脚本并运行它:

我得到这个错误:

正如我们所看到的,我们得到了一个与访问相关的明显错误。为什么脚本以 0 代码结束?

真的在使用gcloudbq(以及其他 google-family cli utils)时需要在 bash 中写入 catch 错误吗?

此方法有效并成功“中断”错误执行:

这对我来说很重要,我在 Kubernetes (cronjob) 中运行脚本。谢谢

0 投票
1 回答
25 浏览

google-cloud-platform - Bigquery:在使用 bq 命令列出数据集时显示数据集位置

如何在使用命令data-location进行dataset列表时显示。bq

例如bq ls将显示datasetId。我想要数据集location信息以及下面的输出。

有什么建议么 ?

0 投票
1 回答
571 浏览

google-bigquery - BigQuery 错误数组>>>

我在 BigQuery 上有一些表,其架构如下所示。

在此处输入图像描述

在此处输入图像描述 当我执行以下查询时,我遇到了一些异常

在此处输入图像描述

我已经尝试过这里的解决方案,似乎对我来说根本不起作用。

无法访问 Big Query 中类型为 ARRAY<STRUCT<hitNumber INT64, time INT64, hour INT64, ...>> 的字段

0 投票
1 回答
620 浏览

google-bigquery - 如何从已分区的 BigQuery 表中提取单个分区?

根据BigQuery docs,我应该能够导出分区表的单个分区:

从分区表中导出所有数据与从非分区表中导出数据的过程相同。有关详细信息,请参阅导出表数据。要从单个分区导出数据,请将分区修饰符 $date 附加到表名。例如:mytable$20160201。

但是,运行以下提取命令会提取整个表,而不仅仅是一个分区。它快把我逼疯了!我究竟做错了什么?

在此处添加源表的分区信息

源表分区信息

我还确认我尝试提取的分区存在

在此处输入图像描述

0 投票
1 回答
63 浏览

google-cloud-dlp - Cloud DLP 检查扫描以在同一行中查找多个 infoType

我必须在大查询表上运行检查扫描。我的目标是仅在包含 first_name、last_name、Phone_number 和 age infoTypes (*都在同一行)时突出显示/查找一行。我是 Cloud DLP 的新手,并创建了一个作业触发器(infoTypes我感兴趣的所有内容)来扫描 BQ 表中的数据。我不确定是否Inspection Rulesets可以在这里提供帮助。以防我的观点不清楚:https ://help.symantec.com/cs/DLP15.0/DLP/v54111221_v120691346/Coincidencia-con-3-columnas-en-una-condici?locale=EN_US

0 投票
2 回答
1004 浏览

google-cloud-platform - bq extract - 提取操作中的 BigQuery 错误:发生内部错误,请求无法完成

我正在尝试使用控制台中的以下命令将表从 BigQuery 导出到谷歌存储:

我收到以下错误:

提取操作中的 BigQuery 错误:发生内部错误,请求无法完成。

这是有关该表的一些信息

我在这里要做的是将这张表提取到谷歌存储中。由于该表大于 1 Gb,因此它会变得支离破碎......我想将所有这些片段组合到一个存档中,进入一个谷歌云存储桶。

这里发生了什么?我该如何解决?

注意:我已经隐藏了表格的实际名称和位置以及其他信息与提及 <hidden><airflow_bucket>或`:。


`

0 投票
1 回答
216 浏览

google-bigquery - 为数据集创建了外部 Bigquery 配置单元分区表,但无法查看具有分区键的列

我创建了一个用于在 Bigquery 中创建数据集和外部表的 terraform 脚本。下面是地形脚本

我能够在数据集下创建配置单元分区外部表,缺少将分区键创建为列。但是,当我从具有相同架构的谷歌云控制台创建时,我能够正确查看表详细信息部分中的分区键列。

terraform 脚本在创建表时缺少分区键列。

我不确定脚本中还缺少什么。

0 投票
1 回答
480 浏览

google-bigquery - 使用 bq 命令创建 hive 分区外部表时缺少 hive 分区键列

我正在使用 bq 版本 2.0.58 并尝试创建配置单元分区 BigQuery 外部表。但是使用 bq 命令创建 hive 分区外部表时缺少 hive 分区键列,以下命令创建表。

贮存:

mkdef命令

mk命令,bq mk --external_table_definition=my_table_def.json my-project:my-dataset.mytable

上面的命令创建了一个带有 hive 分区键列的表。但是当我向其中添加架构时。创建表时缺少添加分区键 ( size ) 列。

创建表时缺少以下 bq 命令来创建分区键列。

my_table_def.json,