postgresql - AWS DMS - 计划的数据库迁移

Question

我在 RDS 中有 Postgresql 数据库。我需要从 postgresql db 中的一堆表中获取数据，并每小时将数据推送到 S3 存储桶中。我只希望每小时发送一次增量更改（任何新的插入/更新）。是否可以使用 DMS 执行此操作，或者 EMR 是否是执行此活动的更好工具？

Answer 1

您可以使用 AWS DMS（数据迁移服务）任务创建将数据从 RDS 迁移到 S3 的自动化环境。

1. 创建源端点（读取您的 RDS 数据库 - Postgres、MySQL、Oracle 等）；
2. 使用 S3 作为引擎端点创建目标端点（阅读：使用 Amazon S3 作为 AWS Database Migration Service 的目标）；
3. 创建一个复制实例，负责在源数据和目标端点之间架起一座桥梁（您只需在处理时付费）；
4. 使用迁移类型字段上的“仅复制数据更改”选项创建数据库迁移任务；
5. 按照本文的这些说明，使用堆栈 Python 创建一个 cron lambda，该 lambda 启动 DMS 任务带有计划事件的 Lambda e在 Python 中使用 boto3 启动 DMS 任务。

把上面的这些资源连接起来，或许可以有你想要的。

问候，

雷南·S。