0

我们正在使用雪花创建一个联合数据仓库,i,ei 将在每个特定区域(例如 3 个区域)上拥有专用的 DWH。我将在一个单独的区域拥有一个全局 DWH,我们需要从另一个区域 DWH 的表中获取数据以进行报告。实现相同目标的最佳方法是什么?

我阅读并理解,您可以将区域中的 DWH 中的数据卸载到同一区域的 AWS S3 或 AZURE Blob 中。我必须为所有 3 个地区做这件事。然后我们在 AWS S3 跨区域复制中有一个选项,我可以启用它然后将其加载到 Global DWH 中。

这是我的方法,看起来有点长,并且可能需要额外的跨区域数据传输成本。主要是我将无法创建端到端的流程。由于都在不同的区域,我需要运行一个单独的作业将其卸载到该区域的 s3,需要验证并需要在所有 3 个卸载完成后开始加载。工作流程或编排也是一个问题。我考虑了 AWS Batch 和 Step 功能,但都是区域服务。

欣赏是否有人可以通过一些光线和选择?谢谢!

4

2 回答 2

0

我不建议使用 S3 执行此操作并加载到每个数据库中。

Snowflake 有两个选项,它们更适合您的用例。Rich 已经提到的一个(数据库复制)。您还可以选择通过私人数据交换(尚未在所有地区提供)或使用数据共享来使用数据共享

于 2020-04-28T14:30:12.063 回答
-1

我建议您查看 Snowflake 关于数据库复制的文档,并请您的客户主管或销售工程师与您讨论,这似乎非常适合您的用例。

https://docs.snowflake.com/en/user-guide/database-replication-failover.html

我希望这会有所帮助……Rich Murnane

于 2020-04-28T12:51:16.997 回答