问题标签 [aws-dms]

我正在尝试将数据库实例迁移到 AWS 上的 Aurora 实例我已经正确设置了极光数据库，我可以使用我的客户端连接到它...此外，我已经使用 Amazon Schema Conversion Tool 进行连接并将架构传输到 -这些表都显示在 aurora db 中。

当我尝试设置复制实例时，我得到了这个：

有什么建议么？

我希望在我走得太远之前，有人能告诉我我是否真的疯了。我有一个以 MySQL 作为后端的应用程序。我需要创建更强大的报告，我选择在 pgsql 中构建数据仓库。挑战是我不希望 DW 每天只更新一两次。我希望它接近实时（预计会有一些滞后，而不是问题）。

我查看了 AWS 胶水和其他一些选项，最后选择了 DMS 作为一种将数据从 MySQL 源复制到 pgsql 目标数据库以进行暂存的方法。然后我设置了触发函数，这些函数基本上将操纵 pgsql db 中插入/更新的数据，将其登陆数据仓库。该应用程序还连接到 DW，并且可以根据需要从 DW 中提取报告和仪表板指标。

我已经建立了一个概念证明，它似乎可以工作，但目前真的只有我在打应用程序，所以我不确定如果我继续这个想法并将其投入生产，它是否会成立.

我目前有一个 dms.t2.small 复制实例（引擎版本 2.4.4）以大约 15-20% 的 CPU 利用率运行。我目前没有为 Multi AZ 配置它。

我看到 CDCLatencyTarget/CDCLatencySource 的组合值平均约为 9 秒。我认为如果这是真的，那也不会令人难以忍受，尽管时间越短越好。我会说，如果它超过一分钟，我们可能会开始看到投诉。

我知道 DMS 更适合迁移，所以我想知道我是否只是以一种非常愚蠢的方式这样做，或者这或多或少是一个有效的用例？DMS 是否存在我不知道的问题，这会导致我后来后悔这个决定？

另外，我希望你有任何想法，我可以如何设置保护措施以确保源和目标保持同步，或者如果他们没有让我意识到它，或者可以让它自我 -愈合。

我想知道我们是否可以仅使用 aws/开源工具/服务将 Oracle 数据库从本地迁移到 AWS，并且停机时间为零。首选只是 AWS 服务。由于这是 1 次要求，我们对购买第三方工具许可证不感兴趣。此 POC 的重要要求是不应该有任何停机时间。

请让我知道您是否可以为此提供任何输入。

谢谢

我可以通过 YAML 文件创建 DMS 实例。但我无法启动迁移数据的任务。创建任务后，有什么方法可以在 YAML 中添加脚本以自动启动该过程？

假设我使用CDC直接从MS SQLS中对数据进行DMS处理到 S3。

如果源数据库中有行删除或更新，当这些事件发生时，DMS 会在 S3 中创建新对象吗？还是会删除/覆盖前一个？

换句话说，如果我想将DB的更改历史序列化到 S3，那么带有 CDC 到 S3 的 DMS 会完全做到这一点吗？还是只是（持续地）镜像 S3 中源数据库中的当前值？

我为 1 路数据复制创建了 RDS

“ （源（Sql_server）到目标（MySql服务器） ”，

这将如何进行双向数据复制

解释 ：-

第 1 步：我在 aws 帐户中创建了 AWS DMS（关系数据库服务）

第 2 步：将 RDS 登录到 SQL Server 2017。

第3步：然后我点击了这个链接

https://aws.amazon.com/blogs/database/introducing-ongoing-replication-from-amazon-rds-for-sql-server-using-aws-database-migration-service/

第 4 步：在此链接之后，一种方式数据复制工作正常。（意味着现在当我更新到 sql server 表时，它正在反映到 mysql 数据库表中）

我需要双向复制

任何想法或建议谢谢

阿曼迪普

我正在尝试在 SCT 中创建 DMS 任务，但出现以下错误 - 我的源是 SQLServer，我的目标是 MySQL DB v 5.7.23。

这是生成的映射 json -

我已经坚持这个步骤一个多星期了。你能帮我解决这个问题吗？

我正在尝试使用 Amazon DMS 监听 Aurora DB 更改并将更改推送到 Kinesis 流，监听该流的 Lambda 函数将在其中进行处理。

我指的是以下文档来编写我的规则。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.Kinesis.html https://aws.amazon.com/blogs/database/use-the-aws-database-migration-service-to -stream-change-data-to-amazon-kinesis-data-streams/

这是我的 DMS 持续复制 (CDC) 任务的规则映射。

但是，当我在源表中进行更改时，DMS 任务失败并出现以下错误。

当我尝试不使用object-mapping规则时，Kinesis 将获得具有"partitionKey": "my_db.my_table"正确值的记录，这是 table-to-table 接收器的默认行为，但我们需要 table-to-kinesis 接收器。

为什么我这么在乎partition-key？因为我需要利用我的 Kinesis 流中的所有分片。

有人能帮我吗？

更新：

当我添加"partition-key-type": "schema-table"到 时"mapping-parameters"，它不会失败，任务不会失败，但会忽略该"partition-key"属性并且会"partitionKey": "my_db.my_table"像以前一样。

不确定点：

1. 在 table-to-table 下沉中，它使用"partition-key-type": "schema-table"，但从未提及 table-to-kinesis 的价值是什么。
2. 文档中的示例和解释非常有限，甚至是错误的（即某些规则 JSON 无效）

有人可以提供有关以下详细信息的见解。

1）AWS DMS是否可以在启动迁移时为表列添加时间偏移量，以便迁移的表在新时区具有相同的时间（适用于所有支持的数据库平台）

2) AWS DMS 能否在数据迁移任务完成时向我们发送 SNS 通知。据我检查，官方文档中没有。任何解决方法也会对我有所帮助。:)

有没有办法在特定时间安排 DMS 任务。在 AWS 控制台中，我没有找到任何相关选项。