问题标签 [amazon-dms]

我的目标是在 S3 上实时存储 RDS 数据。

我发现的一个是 aws dms 服务，但它并没有准确记录它是如何工作的，所以我很犹豫是否要介绍它。

1. 满载如何工作？

我正在考虑的是满载+ CDC。但是，我不知道满载是如何工作的。是不是很简单select * from table？

我想知道当前通过满负荷运行的服务器是否有任何问题。

例如，由于 select 导致表锁定，因此发生死锁。

2. 众所周知，CDC 以日志格式存储。

我不知道如何处理此日志以使其进入决赛桌。

最终目标是配置 CDC 日志，以便可以使用转换后的数据从 AWS athena 查询它。

RDS：MariaDB 版本 10.2.21

我们正在试验使用 Amazon DMS 作为 Debezium 的替代方案，用于对 Kafka 进行 SQL Server 数据库更改。一切进展顺利，但我们将在 DMS 中错过 Debezium 的一个特性：Kafka 中的消息能够包含更改之前和之后的记录状态。似乎使用 DMS，您只能获得记录的之后版本，而不是之前版本。在某个地方有这个设置吗？我找不到任何表明存在的文档，但我想在我放弃之前我会问 Stack Overflow 的 hivemind。

我创建了 DMS 任务，用于将数据从一个 RDS MS SQL Server 实例迁移到另一个 RDS MS SQL Server 实例，并使用“完全加载 + 持续复制”，并将数据复制到目标实例，但状态显示为失败并出现以下错误 -

Last Error AlwaysOn BACKUP-ed data is not available 从子任务 0 线程 0 [reptask/replicationtask.c:2822] [1020465] 执行源循环时出错；流组件在子任务 0 处失败，组件 st_0_NJZW5VSVPASASA4E4N2SJGTVEZ3UIDLJHX3NDY；流组件 'st_0_NJZW5VSVASASAZ4E4N2SJGTVEZ3UIDLJHX3NDY' 终止 [reptask/replicationtask.c:2829] [1020465] 停止原因 FATAL_ERROR 错误级别 FATAL

我在这里缺少什么吗？

我正在尝试传递数据 aws s3-DMS-kinesis。我已经在 s3 存储桶中上传了一个 cab 文件。我已使用 DMS 成功从 s3 检索数据，但是当我尝试将 DMS 目标连接到 kinesis 时，我收到错误“无法连接到数据库”。当我在我的个人帐户中尝试时，它是成功的，但是当我尝试使用我的专业帐户时，我得到了那个错误。谁能告诉我应该怎么做才能解决这个错误？谢谢你。

我们有几个目标延迟很高但几乎没有源延迟的 DMS 任务。该任务似乎在大约 40-50 分钟内几乎没有做任何事情，对目标（Redshift）应用更改大约 10 分钟，然后在 40-50 分钟内再次什么也不做，等等。几乎总是在 10 分钟结束时更改正在应用到目标队列中仍有未应用的更改。

我们有BatchApplyEnabled = true,BatchApplyTimeoutMin = 2400和BatchApplyTimeoutMax = 3600, 所以观察到的行为对我来说是有意义的。但是我在某些地方看到了BatchApplyTimeoutMin和BatchApplyTimeoutMax值设置相同的地方，例如1800.

我的问题是：对 Target 应用更改是否仅发生在BatchApplyTimeoutMinandBatchApplyTimeoutMax值之间，或者当两者BatchApplyTimeoutMin和BatchApplyTimeoutMax设置为相同值时的行为是什么？

我的要求是仅将我数据库中特定表上的 INSERT 流式传输到 Kinesis 数据流。

我已经在我的 AWS 环境中配置了这个管道：

此设置工作正常，但它处理我的源表上的所有更改，甚至更新和删除。

我试过的：

• 在 Postgres 逻辑解码插件中寻找配置选项。DMS 使用test_decodingPG 插件，该插件不接受按操作类型包含/排除数据更改的选项。
• 查看 DMS 选择和过滤规则。仍然没有看到任何可能有帮助的东西。

当然，我可以在我的 Kinesis 消费者中简单地忽略源自非 INSERT 操作的记录，但这看起来不像是一种具有成本效益的实现方式。

有什么方法可以使用这些 AWS 服务（RDS -> DMS -> Kinesis）来满足我的要求？

我正在使用 terraform 来配置此 DMS 迁移任务，该任务将数据从 MySQL 实例迁移（完全加载+cdc）到 S3 存储桶。

问题是配置似乎没有生效并且没有创建分区文件夹。所有迁移的文件都创建在存储桶内的同一目录中。

在文档中，他们说CDC 和 FullLoad+CDC 都支持DatePartitionEnabled版本中引入的端点 s3 设置。3.4.2

我的 terraform 配置规范：

但是在相应的 s3 存储桶中，我没有得到任何文件夹，而是顺序文件，就好像这个选项不存在一样。

我正在使用 terraform 1.0.7、 aws provider3.66.0和 DMS Replication Instance 3.4.6。

有谁知道这可能是什么问题？