1

如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？描述：我在 RDS (SQL Server) 中有数据，并希望将这些数据实时加载到 Google BigQuery 中。

4

2 回答 2

2

无法直接将更改从 Amazon RDS 插入到 Google Cloud BigQuery。可以用这样的管道来完成

Amazon RDS ----Lambda/DMS----> Kinesis Data Streams -----Lambda----> BigQuery

  1. 使用Lambda或使用Cloud DMS读取从 Amazon RDS 到 Kinesis Data Streams 的更改。您还可以将其推送到 Kinesis Firehose 以聚合/批处理记录。
  2. 使用 Lambda 从 Kinesis 流/Firehose 中读取数据，以使用tabledata.insertAll（BQ 流 API）插入 BigQuery 。代码将与此类似。
于 2020-02-19T06:44:56.450 回答
1

您可以使用Cloud Storage Transfer Service来管理和安排将加载作业加载到 BigQuery 中。这是此用例的推荐迁移方法。首先，您需要将数据从 AWS RDS 加载到 CSV 文件，然后将其移动到 S3。Amazon S3传输是一个两步过程：

  1. 传输服务用于将数据从 S3 带入 GCS。
  2. BQ 加载作业用于将数据加载到 BigQuery 中。

我发现的另一个有趣的解决方案是使用 AWS Data Pipeline 从 MySQL 导出数据并将其提供给 BigQuery。

此外，您可以使用与 Amazon RDS 和 BigQuery 集成的 ETL 工具之一（请参阅此处）将数据传输到 BigQuery。最好的之一是Fivetran。

我希望它对你有帮助。

于 2020-02-19T09:40:27.560 回答