google-bigquery - 如何从 Google BigQuery 将数据加载到 Google Cloud Bigtable

Question

我需要将数据填充到 Google Cloud Bigtable 中，数据源将是 Google BigQuery。

作为一个练习，我能够从 BigQuery 读取数据，作为一个单独的练习，我也能够将数据写入 Bigtable。

现在我必须将这 2 个操作合并到一个 Google Cloud Dataflow 作业中。任何例子都会有很大帮助。

Answer 1

您可以只使用这些示例中所示的转换，在其间添加您需要的任何逻辑，例如：

Pipeline p = Pipeline.create(options);
 .apply(BigQueryIO.Read.from("some_table"))
 .apply(ParDo.of(new DoFn<TableRow, Row>() {
   public void processElement(ProcessContext c) {
     Row output = somehowConvertYourDataToARow(c.element());
     c.output(output);
   }
   })
 .apply(BigtableIO.Write.withTableId("some_other_table");

Answer 2

对于将来想将 bigquery 数据转换为 bigtable 的人可以参考以下链接

参考：https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/main/java/com/google/cloud/bigtable/dataflow/example/BigQueryBigtableTransfer。爪哇