google-bigquery - 如何将大量数据（50 TB）从本地 SAP Hana 迁移到 GCP

Question

语境：

数据仓库是使用 SAP BW On HANA 构建的。它运行了相当长的一段时间。它有超过 50TB 的数据。作为一项战略决策，必须将 GCP 上的数据迁移到 BigQuery（一次性活动）。

问题：

导出如此庞大的数据的最佳、非侵入性方式是什么，采用 BigQuery 格式。上传这不是问题，因为它可以使用专用的云互连上传。

Answer 1

根据 Google 最佳做法，您应该使用Transfer Appliance传输数据。

但是如果你想尝试专用的云互连，你可以试试。 传输数据：您可以尝试以下选项：-

1. 通过文件从 HANA DB 导出数据。
2. 通过您想要的渠道将文件传输到云存储。
3. 在 GCS 上获得数据后，您可以通过多个选项将数据上传到 Bigquery（从 GCS 导出数据、创建数据流作业和将数据上传到 BQ 的脚本）