问题标签 [bq]

我对 Google Cloud Platform 非常陌生，我正在尝试从csv.gz存储在 GCP 存储桶中的约 60,000 个文件中创建一个 bigquery 表。

为此，我打开了 Cloud Shell，我正在尝试以下操作：

这会引发以下错误：

我不知道在加载文件时如何找到可能有问题的文件。我检查了一些文件，它们都是有效.gz文件，我可以在解压后用任何 csv 阅读器打开，但我不知道如何检查所有文件以找到有问题的文件。

提前感谢您对此的任何帮助！

我有几个文件的 txt 格式数据，每个文件有 3 列，少数文件有 4 列，如何创建只读取第 3 列的表？

我一直在使用 BQ UI 创建表，这在读取 4 列数据时会导致错误，

例如：file1.txt

文件2.txt

文件 3.txt

我现在拥有的架构是

我在 gcs 存储桶中有这些文件，外部表指向这个位置，

读取表时出错：testing-dataset-project.testing_tables.test_data，错误消息：CSV 表引用列位置 3，但从位置：0 开始的行仅包含 3 列。

我正在寻找一种使用 bq 命令行将 Big Query 中的数据上传到 Google 表格的方法。找不到有关该主题的任何相关文档。

提前致谢。

我看过这个资源，但这不是我需要的。这个问题是我想要完成的，但我想在BQ终端运行它。

例如，过去我在 bq 命令行中将表信息导出为 .json，如下所示：

bq show --schema --format=prettyjson Dataset.TableView > /home/directory/Dataset.TableView.json

这给出了集合项目中指定数据集的 Table 信息的 prettyjson。我只想拥有项目中所有数据集名称的 .csv（或任何类型的列表）。但是我不知道如何适当地更改该命令行以输出我想要的内容。

我正在尝试使用 Google 的 SDK 获取每个国家/地区的 COVID19 死亡历史。我在 Ubuntu 上安装了 bq (BigQuery)，但我不知道如何继续。在线 API 提供了一些示例，但它们似乎无关紧要。我期望类似bq extract bigquery-public-data.covid19_open_data但找不到说明。我在这里感到无能为力，感谢您的帮助。

我正在尝试在 Windows 命令行上创建一个传输作业

但我不断收到错误的变化

的输出--apilog也没有启发性。

我的 JSON 验证，但可能仍然需要转义字符？

非常感谢任何帮助，现在已经在引号和反斜杠周围改组了两个小时......

我怎样才能简单地获得没有字段的月份列表？有点像我们如何做 current_date() 而是在 SQL/Big Query 中列出迄今为止的 month_years 列表

我们有一个 BigQuery 查询，例如：

如果我们在一天内多次运行此查询，我们会收到错误消息：

超出配额：您的表超出了对列分区表的分区修改次数的配额。有关详细信息，请参阅 https://cloud.google.com/bigquery/troubleshooting-errors

我以前加载过分区表，bq load --replace但不记得有类似的错误——建议为新表重置配额。

这是如何运作的？是否create or replace对该表名使用累积配额，但bq load --replace在每次运行时重置配额？

我想用临时表中已经可用的数据替换我的 BQ 表上的最新分区。

有人可以帮我做这件事吗？

以下命令没有帮助：

我有一个有 2 列的表，假设第一个是客户名称，第二个是他的选择。请注意，他可以选择多个选项（1 个或多个）！也可以做第二个订单！

例如输入如下：

我想要实现的是为每个订单获取一行，如下所示：

笔记！1-为了客户 3，项目在连接时订购！2- 对于客户 5，我们有 2 个订单，只需通过该订单的重复项目就可以检测到，因此将其放在新行中！

我知道这有点复杂，但我真的想知道是否可以这样做！希望我描述得很好！

BR，纳兹