firebase - 从 BigQuery 导出 Firebase 事件

Question

是否有推荐的方式将 firebase 事件导出到 Google Cloud Storage（例如 Parquet 格式）？如果我将数据导出到 BigQuery，将数据持续推送到 GCP Cloud Storage 的最佳方式是什么？

原因是我在 Cloud Storage 中有处理 parquet 文件的 daraproc 作业，我希望我的 firebase 数据能够以相同的方式访问。

Answer 1

目前不支持将 BigQuery 中的数据直接导出为 parquet 文件。
BigQuery 现在支持三种格式，

• CSV
• 阿夫罗
• JSON

您可以选择使用 Apache Beam 和 Google Cloud Dataflow 将数据转换为 parquet 文件。从 BigQuery 读取数据后，使用 ParquetIO 转换数据并将其写入 Cloud Storage。

参考

导出数据（BigQuery）
https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types

ParquetIO(Apache Beam) https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html