0

有谁知道我如何使用 Cloud Shell Terminal 手动将数据从 Firestore 数据库复制/传输到 Bigquery?

我过去曾这样做过,但找不到我使用的文档/视频。我发现很多说明一旦 Bigquery 连接到 Firebase,它应该是自动的,但我的不是。

当我在 Cloud Shell 终端中运行代码以从 Firebase 提取数据时,该集合作为表复制到 Bigquery 数据集中。创建了两个表,并创建了“raw_latest”和“raw_changelog”。

我现在不知道如何转移另一个收藏。我特别需要从 Firestore 数据库中的子集合传输数据。

4

1 回答 1

0
  1. 您现在可以使用 Firebase 扩展将数据从 Cloud Firestore 导出到 BigQuery。要导入所有以前的数据,您首先需要安装扩展程序,因为在不安装扩展程序的情况下先进行导出时的所有写入都将丢失。

    请参阅:https ://firebase.google.com/products/extensions/firestore-bigquery-export

  2. Firestore 允许使用 GCS 存储桶将数据导入/导出到 BigQuery。数据会导出到 Cloud Storage 存储桶,然后可以从那里导入 Big Query。
    相同的 gcloud 命令是:

导出数据:

gcloud beta firestore export --collection-ids=users gs://my bucket/users

将备份加载到 bq :

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata
  1. 以下是一些可能有用的链接:
于 2021-12-05T08:08:05.153 回答