0

在此处输入图像描述

当我手动使用 BigQuery 控制台时，我可以看到将表导出到 GCS 时的 3 个选项是CSV、JSON (Newline delimited)和Avro。

使用 Airflow，当使用操作符时，为了将数据传输到 GCS，BigQueryToCloudStorageOperator传递给的正确值是什么？是不是很简单？我在网上看到的所有示例都用于use ，从不用于 JSON，所以我不确定这里的正确值是什么。我们的用例需要 JSON，因为 DAG 中的第二个任务（将数据传输到 GCS 之后）是然后将 GCS 中的数据加载到我们的 MongoDB 集群中。export_formatJSON (Newline delimited)JSONBigQueryToCloudStorageOperatorexport_format='CSV'mongoimport

4

2 回答 2

1

根据BigQuery 文档，您可以将 BigQuery 查询结果导出为三种可能的格式：CSV、、JSON和Avro（这与 UI 下拉菜单兼容）。

在此处输入图像描述

我会export_format='JSON'按照你已经提议的那样尝试。

于 2020-11-13T10:55:56.487 回答
1

在找到文档https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#jobconfigurationextract并参考destinationFormat 的值后，我发现需要值 export_format='NEWLINE_DELIMITED_JSON'

于 2021-08-20T11:11:28.607 回答