问题标签 [bq]

我试图从近两个月前的特定日期获取在 BigQuery 中执行的自定义查询的 SQL 查询字符串。

我已执行以下命令来检索jobId当天所有唯一值的列表：

知道如何检索特定的 SQL 查询字符串jobId吗？

我的 google-cloud 存储中有一个 csv 文件，我在这个文件上有一些自定义元数据。我想从我的 BigQuery 中读取此元数据。这可能吗。如果是这样，请告诉我应该怎么做。

我面临一个与我的项目相关的问题。这是我想做的总结：

我有一个很大的每日文件（100 Go），其中包含以下摘录（无标题）：

每个 ID（从 A 到 D）都可以链接到一个或多个段（从 1 到 5）。

我想处理这个文件以获得以下结果（结果文件包含一个标题）：

1表示 ID 包含在段中，0表示不包含。

我正在使用以下查询来获取结果：

这个解决方案对我有用，直到段数变得更多（在我的第一个示例中，900 多个段而不是 5 个）。这会创建一个无法通过bqcli 作为参数传递的巨大查询。

有什么我可以使用的解决方法吗？

感谢大家的帮助。

问候

我想使用两个 SQL 脚本使用bq query命令在 BigQuery 中创建和更新表。这是两个脚本：

1-创建表

2-更新表格

使用这两个脚本作为bq query命令查询时，出现错误：

有没有其他方法可以做到这一点？

谢谢

我无法让 BigQuery 从 avro 文件正确加载时间戳。

avro 文件的日期列存储时间很长，逻辑类型为 timestamp-micros。根据文档，BigQuery 应将其存储为时间戳数据类型。我也尝试过 timestamp-millis 的逻辑类型。

数据存储在 avro 中，如下所示：

字段tm和created分别是 longs，2019-03-31T00:00:00Z和2020-08-10T11:50:58.986816592Z。

avro 的架构是

通过bq load导入 BigQuery 时，记录最终如下所示：

使用的导入命令是：

BigQuery 中的时间戳与 avro 中提供的实际值相去甚远。

有人对如何正确执行此操作有任何想法吗？

我正在尝试将数据从 Snowflake 卸载到 GCS，然后将 GCS 卸载到 bq 表。这是从雪花中卸载数据的代码。

然后我使用以下脚本将数据从 GCS 复制到 bq

它适用于除此表之外的所有表，我得到的错误是读取数据时出错，错误消息：CSV 表引用列位置 174，但从位置开始的行：136868 仅包含 94 列。

谁能帮我解决这个错误，我应该更改文件格式还是应该对我上传到 bq 的脚本进行一些更改

我对 Google Cloud CLI 很陌生，很抱歉这个愚蠢的问题，但这真的很烦人。

我正在尝试执行此命令：

我总是收到此错误消息：

上面的 JSON 文件似乎是有效的（我已经使用在线验证器对其进行了测试）。我也试过这个命令的多行版本，结果相同。

问题：

• 我究竟做错了什么？尽管内容经过验证，为什么我在这里收到 JSON 错误？
• 我怎样才能得到更详细的错误？这个命令是否有一个我找不到的详细标志？
• 为什么没有任何好的文档详细描述这种类型的错误？

我用过的来源：

https://cloud.google.com/bigquery/docs/reference/bq-cli-reference#bq_mk https://cloud.google.com/bigquery-transfer/docs/working-with-transfers https://cloud。 google.com/bigquery-transfer/docs/s3-transfer#bq https://cloud.google.com/bigquery/docs/bq-command-line-tool

我在 EC2 上托管的 matillion 实例中安装了 google-cloud-sdk。我可以在 ssh 实例中访问 gcloud 命令，也可以在我的 matillion 中使用 bash 组件。但是，我无法运行 bq 命令。我看到它已作为云 sdk 的一部分安装。我能够配置我的帐户和一切。但它不起作用。

有人可以帮我弄这个吗？

我在本地机器的一个文件夹中有多个文件。每个文件都有相同的架构。如何在一行 cli 中将这些文件上传到 BQ？我试过这个：

bq load --source_format=NEWLINE_DELIMITED_JSON --ignore_unknown_values temp.test_load ./* ./schema.json

但是我收到了这个错误 Too many positional args, still have...（并继续使用文件夹中所有文件的名称）

但是当我指定文件名时，它会将其上传到 BQ 中而没有任何错误：

bq load --source_format=NEWLINE_DELIMITED_JSON --ignore_unknown_values temp.test_load ./file_1.ndjson.gz ./schema.json （这个正在工作）

如何从本地进行多次上传？

我正在尝试从 Google Apps 脚本中的 BigQuery 表中读取数据。目标表位于欧盟区域，但脚本默认请求美国。

代码

错误：

GoogleJsonResponseException：对 bigquery.jobs.query 的 API 调用失败并出现错误：未找到：在美国位置找不到数据集 <dataset-name.table-name>