我们正在使用雪花创建一个联合数据仓库,i,ei 将在每个特定区域(例如 3 个区域)上拥有专用的 DWH。我将在一个单独的区域拥有一个全局 DWH,我们需要从另一个区域 DWH 的表中获取数据以进行报告。实现相同目标的最佳方法是什么?
我阅读并理解,您可以将区域中的 DWH 中的数据卸载到同一区域的 AWS S3 或 AZURE Blob 中。我必须为所有 3 个地区做这件事。然后我们在 AWS S3 跨区域复制中有一个选项,我可以启用它然后将其加载到 Global DWH 中。
这是我的方法,看起来有点长,并且可能需要额外的跨区域数据传输成本。主要是我将无法创建端到端的流程。由于都在不同的区域,我需要运行一个单独的作业将其卸载到该区域的 s3,需要验证并需要在所有 3 个卸载完成后开始加载。工作流程或编排也是一个问题。我考虑了 AWS Batch 和 Step 功能,但都是区域服务。
欣赏是否有人可以通过一些光线和选择?谢谢!