0

我需要将我的 bigquery 表移动到红移。

目前我有一个从 redshift 获取数据的 python 作业，它是在 redshift 上增量加载我的数据。

这个 python 作业正在读取 bigquery 数据，在服务器中创建一个 csv 文件，在 s3 上删除相同的文件，并且 readshift 表从 s3 上的文件中读取数据。但是现在时间大小将非常大，因此服务器将无法处理它。

你们碰巧知道比这更好的吗？

我需要移动的 bigquery 上的新 7 个表，每个表大约 1 TB，并带有重复的列集。（我正在做一个 unnest join 来压平它）

4

1 回答 1

0

您实际上可以按照此处的说明将数据从 Big Query 移动到 Cloud Storage Bucket 。之后，您可以通过运行以下命令轻松地将数据从 Cloud Storage 存储桶移动到 Amazon s3 存储桶：

gsutil rsync -d -r gs://your-gs-bucket s3://your-s3-bucket

这方面的文档可以在这里找到

于 2019-07-30T12:29:30.813 回答