问题标签 [aws-dms]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
831 浏览

sql-server - AWS DMS(数据库迁移服务)SQL Server 到 SQL Server 不复制更改

我在同一个 VPC 中有 2 个 AWS SQL Server(作为 RDS 实例),但是一个在私有子网(源)中,一个在公共子网(目标)中。我正在从 SQL Server 标准版复制到 SQL Server Web 版。

我已经在它们之间设置了 DMS(数据库迁移服务)来进行全表加载,然后复制正在进行的更改。初始加载没有问题,但是不会重复正在进行的更改。当我检查表状态时,我可以看到最后更新的日期时间在不断更新,但是如您所见,没有跟踪插入或更新。这些数字仍然为 0。

在此处输入图像描述

迁移任务的状态是:加载完成,正在复制 源数据库备份模型为 FULL(很简单,但意识到这不起作用,因此将其更改为 FULL)。

CloudWatch 日志只是重复以下内容:

这与启动任务时发生完全加载时不同,它详细说明了许多正在复制的表等。我已经停止/启动了任务,我尝试将行为从截断目标表更改为删除并重新创建等,但这些都没有任何影响。仪表板中没有列出“最后失败消息”,也没有任何 CDC 开始位置或恢复检查点:

任务状态似乎永远不会从 CHANGE_PROCESSING 改变

awsdms_apply_exceptions 中没有错误。

有人可以帮忙解释为什么没有发生复制吗?

0 投票
0 回答
65 浏览

amazon-web-services - 需要一个 Cloud Formation 模板来设置数据库迁移服务

我正在尝试构建一个 Cloud Formation 模板,以使用 DMS(用于备份和 DR 目的)跨 AWS 云中的不同账户自动执行数据库迁移 (RDS) 和复制。

我已经手动测试了完整的设置,它似乎在预生产环境中运行良好。但是,我需要先将其自动化,然后才能将其用于生产环境。

所以,有人可以分享一个 DMS 的 CF 模板(我可以根据要求进一步定制它),它还可以在数据库迁移服务 (DMS) 中创建所有必需的资源,包括 RDS、复制实例、端点和任务。

0 投票
2 回答
615 浏览

amazon-web-services - 我们可以在aws DMS中执行sql查询吗

我们可以在 DMS 任务中执行 sql 查询,以便它只获取所需的数据而不是整个数据库。如果不可能,那么使用哪个 aws 服务将基于查询的数据从本地数据源获取到 aws S3。

0 投票
1 回答
491 浏览

node.js - 向 Amazon SNS 发送有关 AWS DMS 任务进度的通知

是否可以提取 AWS DMS 复制任务百分比进度并使用它来创建一个 AWS Lambda 函数,用于向 Amazon SNS 发送通知,比如说,每完成 10%?在浏览时,我在任何地方都找不到与此相关的任何指标/事件类别。谢谢。

0 投票
1 回答
1491 浏览

amazon-web-services - 从另一个 Terraform 计划中引用变量

我使用 Terraform 在 AWS 中创建了一个包含主要和灾难恢复网站架构的设置。

主站在region1,容灾在region2。该脚本被创建为不同的计划或不同的目录。

对于 region1,我创建了一个目录,其中仅包含主网站 Terraform 脚本来启动主网站基础设施。

对于 region2,我创建了另一个目录,其中仅包含灾难恢复网站 Terraform 脚本来启动灾难恢复网站基础架构。

在我的主网站脚本中,我需要一些灾难恢复网站的值,例如 VPC 对等连接 ID、DMS 端点 ARN 等。

如何将这些变量从灾难恢复网站目录引用到主网站目录?

0 投票
1 回答
208 浏览

python - AWS DMS 使用具有大型结果集的 DatabaseMigrationService.Client.describe_table_statistics 丢失记录

我正在使用 describe_table_statistics 检索给定 DMS 任务中的表列表,并使用 response['Marker'] 有条件地循环 describe_table_statistics。

当我不使用过滤器时,我得到了正确的记录数,13k+。当我使用结果集少于 MaxRecords 的过滤器或过滤器组合时,我得到正确的记录数。

但是,当我传入一个过滤器,它会获得比 MaxRecords 更大的记录集时,我得到的记录比我应该得到的要少得多。

这是我检索表集的函数:

为了进行故障排除,我循环遍历每个表格打印一行的表格:

当我没有为“表已完成”的表状态传递任何过滤器和 grep 时,我通过控制台得到 12k+ 条记录,这是正确的计数

至少从表面上看,响应循环是有效的。

当我传入一个模式名称和表状态过滤条件时,我得到了正确的计数,正如控制台所确认的那样,但这个计数小于 MaxRecords。

当我只为“表已完成”传递表状态过滤器时,我只得到 949 条记录,所以我丢失了 11k 条记录。

我尝试从循环内的 describe_table_statistics 中省略 Filter 参数,但在所有情况下我都得到相同的结果。

我怀疑我在循环内对 describe_table_statistics 的调用有问题,但我无法在亚马逊的文档中找到这方面的示例来确认这一点。

0 投票
1 回答
266 浏览

mongodb - 使用 DMS 从 mongodb 加载数据到 elasticsearch 时出错,有什么想法吗?

我正在尝试使用 AWS DMS 并将数据从 mongodb 传输到 amazon elasticsearch。

我在 CloudWatch 中遇到以下日志。

这是我对 mongo db 源的配置。它_id as a separete column启用了复选框。我尝试禁用它,它说没有主键。你们知道有什么可以解决的吗?

快速说明:我已经添加了 _id 字段的映射,old_id现在它不会导入所有其他字段,即使我将它们添加到映射中

0 投票
3 回答
572 浏览

sql-server - AWS DMS 构建表列表失败

我正在尝试从 SQL 服务器完全加载到 Aurora-mysql,但任务因某些错误而失败。我想知道为什么 AWS 的描述如此便宜。

为什么“构建表列表失败”我需要检查什么...查看了文档,但没有。

0 投票
1 回答
77 浏览

mysql - AWS,将 Sql Server 迁移到 MySql,从一个区域到另一个区域

我有一个在 aws ireland 上运行的 RDS sql server db 和一个在 aws paris 上运行的 RDS mysql db。

我想使用数据库迁移服务将数据从一个地方迁移到另一个地方。

我读到我可以通过跨区域的 VPC 对等连接来实现这一点。

还有另一种方法可以做到这一点吗?例如通过 S3 存储桶?

0 投票
0 回答
1182 浏览

oracle - AWS DMS:表暂停

所以我开始使用 AWS Data Migration Service 将本地 Oracle DB 迁移到 AWS RDS Postgres。到目前为止一切顺利,绝大多数表都被迁移(~2000),但是有两个失败了。我启用了所有可用的日志记录和调试选项,然后无法获得更多:

我不确定发生了什么,也无法识别这些表的任何“特殊”(其他表产生完全相同的日志)。任何人都遇到过类似的事情并找到了解决方案?

PS:虽然我确实启用了内容日志表,但那里没有创建任何内容......