问题标签 [bq]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
111 浏览

google-cloud-platform - BigQuery CLI 仅显示 tableId

我只想获取数据集中的表列表。bq ls dataset命令显示表名列表以及类型、标签、时间、分区和集群字段等额外列。

我怎样才能只显示tableId列?

在此处输入图像描述

0 投票
1 回答
42 浏览

google-cloud-platform - 无法按日期表从 BigQuery 导出分区到 GCP

我正在尝试按日表将分区导出到 GCP 存储桶。我的主要目标是在 GCP 中创建日常文件。

这是我对提取的简单第一个测试:

test_table是一个分区表,我确实有 2021-07-19 日期的 7k 行。但是,当我运行这条线时,我得到了这个

正如您在上面看到的,表名的开头temp.test_partitiontime0210719没有。2只要 $ 符号包含在表名中,它之后的第一个字符就会被删除。

我试图应用这个 GCP文档。另外,我试过这个评论,但对我没有用。

如何将特定日期的分区表提取到 GCP?

0 投票
0 回答
11 浏览

google-bigquery - 复制表是否需要目标表具有相同的架构?

当使用将数据从一个表复制到另一个表时,bq cp是否要求两个表具有相同的架构?

我问的原因是我正在整理一个将表恢复到给定时间点的过程。我希望我可以使用 BigQuery 的时间旅行功能将表的当前状态设置为过去 7 天给定时间点的状态,但我认为时间旅行不允许这样做;它只允许人们在那个时间点读取数据(顺便说一句,这仍然是一个惊人的能力),但不能将当前状态设置为那个时间点的任何状态。

因此我提议的是:

  • 将表中的数据复制到新表中bq cp {original_table}@{timestamp} {copy_table}
  • 截断原始表bq query --nouse_legacy_sql "truncate table {original_table}"
  • 用复制的数据覆盖原始表bq cp {copy_table} {original_table}

在我尝试之前,它会起作用吗?而且(如主题中所要求的)为了bq cp在目标表已经存在时进行操作,这两个模式是否必须具有完全相同的模式?

0 投票
0 回答
14 浏览

google-cloud-platform - 使用服务帐户调用 BQ API 的 Google Ads 脚本

我想使用服务帐户将 GAds 数据(使用 Ads 脚本)导出到 BQ。

官方文档中,我没有看到 GAds(Java、C#)的示例。

也看到那个那个线程让我问它是否可能?

0 投票
1 回答
73 浏览

google-cloud-sdk - bq CLI 可以仅列出视图并排除表吗?

列出视图很简单:

这包括视图表格。有没有办法过滤这个显示视图?该--filter参数似乎仅适用于数据集和传输作业。

参考:

0 投票
1 回答
113 浏览

python-3.x - Loading multiple csv into BQ table on event trigger

i am trying to load multiple csv files into table by below code but it is failing: Can anyone let me know where i am wrong: ##################

###################

Above works fine if schema is mentioned for one file but with multiple files gives error.Can anyone tell me what I am doing wrong

0 投票
0 回答
38 浏览

split - 将一行的值拆分为 BQ 中的列,但其他列值应重复

我有一张如下表 -

项目 可乐 Col-B Col-C
一个 A B C D e,f G
d,e a,b,c F

&输出我想要的 -

项目 可乐 Col-B Col-C
一个 一个 e G
一个 b F 无效的
一个 C 无效的 无效的
一个 d 无效的 无效的
d 一个 F
e b 无效的
无效的 C 无效的

我使用了拆分功能,虽然输出看起来相同,但项目名称并没有为每一行重复(它是空白的)&对于其他列,它也是空白而不是 null。这就是为什么我无法下载结果。它给了我错误-“架构不平坦-无法保存到选定的目的地。”

因此,对于特定项目,任何列中存在的最大值数将是输出中的最大行数。请帮我查询。

0 投票
0 回答
13 浏览

view - 如何使用 bq cli 修改 GBQ MV?

在 Google Big Query /GBQ 中,有没有办法使用 bq CLI 修改物化视图?截至目前为了修改GBQ MV,这是我所做的

  1. 我首先使用浏览器控制台删除现有的 MV,
  2. 然后使用新的/修改的 MV 定义重新创建它

cat xyz-nyt_ci_dm_performance_events_v.sql | bq update --use_legacy_sql=false -view testds.campaigns.adorders

0 投票
0 回答
45 浏览

bq - 如何使用按时间分区的目标表 bq mk 计划查询?

我正在按照https://cloud.google.com/bigquery/docs/scheduling-queries#setting_up_a_scheduled_query上的指南使用(选项 2)创建计划查询,bq mk --transfer_config但我无法弄清楚如何为目标表设置分区参数. 当我通过控制台创建计划查询时,我可以这样做,结果如下所示:

通过控制台创建时在计划查询上设置分区字段

这是我使用以下方法创建计划查询的方法bq mk

我尝试放入time_partitioningparams以及变体),但这也不起作用。

0 投票
2 回答
110 浏览

sql - Biq 查询:Regexp_Contains(如!:))

当一列中的数据包含来自另一表列的某些单词并在 Case When 中使用它们时,我需要返回 true。我该如何解决(但我不能使用联接或交叉联接,因为我需要左表中的所有数据)?

SQL

需要结果