问题标签 [aws-dms]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
51 浏览

mysql - MYSQL 转储大小变化

我使用 AWS DMS 迁移了 350 Gb 的数据。

迁移后,我可以看到源和目标中的数据库大小不匹配,即 DB 大小存在差异。

我通过 mysqldump 进行了检查,发现数据库大小存在差异。

在 mysql 转储后,有人遇到过数据库大小的差异吗?

0 投票
1 回答
736 浏览

mysql - 迁移后的 AWS DMS 问题

我正在使用 AWS DMS 迁移 350G 的数据。

迁移已完成,但状态显示错误。我检查了 cloudwatch 日志并收到以下错误:

E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 1280 消息: [MySQL][ODBC 5.3(w) Driver][mysqld-5.5.5-10.2.12-MariaDB-log]不正确的索引名称'PRIMARY' [1022502] (ar_odbc_stmt .c:4428)

[TARGET_LOAD ]E:执行 createprimery key 失败,语句 ALTER TABLE <databaseName><table>添加约束PRIMARY主键 ( id) [1022502] (odbc_endpoint_imp.c:3938)

我比较了源和目标上的数据库,发现表大小有一些变化,而且目标 RDS 上的Key字段为空;我怀疑密钥没有迁移到我的目标 RDS(与使用describe相比)。在 DMS 文档中提到密钥将被迁移。

有没有办法解决这个问题?

如果有人在使用 AWS RDS 时遇到问题,请告诉我。

0 投票
1 回答
2284 浏览

amazon-web-services - AWS DMS 持续复制落后?

我们使用 AWS DMS 将特定表从一个 Oracle RDS 数据库实例持续复制到另一个 Oracle RDS 数据库(均为 11g)。

间歇性地,复制似乎落后或不同步。日志中没有错误,一切都报告为成功,但数据丢失。

我们可以开始完全刷新,数据会显示出来,但这不是定期可行的选择。这是一个生产系统,完全刷新需要 14 小时以上

我们想监控目标数据库是否[至少大部分]是最新的。意思是,不超过2-3个小时。

我发现您可以使用“SELECT current_scn FROM V$DATABASE”从源数据库和“awsdms_txn_state”表中的目标获取当前 SCN。

但是,该表不存在,并且在创建或修改任务时我看不到任何启用 TaskRecoveryTableEnabled 的选项。

是否存在可以自动监控这些值的现有功能?可以通过 Lambda 完成吗?

如果 DMS​​ 报告成功,那么在有人打电话给我们抱怨之前,我们无法知道我们的数据落后了数小时或数天。

我确实在 DMS 任务中看到了“启用验证”的选项,但直觉告诉我这会产生大量不必要的开销。

提前致谢。

0 投票
0 回答
530 浏览

amazon-web-services - Athena 从 AWS DMS CSV 文件中读取

我已将我的 DMS 配置为从 MySQL 数据库中读取数据并将其数据迁移到 S3 并进行复制。一切似乎都运行良好,它为所有数据创建了大的 CSV 文件,并开始使用增量创建较小的 CSV 文件。

问题是,当我使用 AWS Glue Crawlers 读取此 CSV 文件时,它们似乎没有得到这些增量,甚至更糟糕的是,它们似乎只得到了增量,而忽略了大的 CSV 文件。

我知道这里有一个类似的帖子:Athena can't resolve CSV files from AWS DMS

但它没有得到答复,我不能在那里发表评论,所以我要打开这个。

有没有人找到解决方案?

此致。

0 投票
1 回答
339 浏览

java - AWS DMS 服务在目标数据库上返回不同格式的 dateTime

我正在使用AWS DMS将数据从迁移RDS mysql (Engine 5.6.34)dynamoDB.

对于第一次迁移,我得到的日期时间数据为YYYY-MM-DDTHH:MM:SSZ (source RDS 1)

第二次,我得到了日期时间数据YYYY-MM-DDTHH:MM:SS.SSSSSSZ (source RDS 2)

两个 RDS 实例中的架构和数据是相同的。我们可以在迁移期间指定格式吗?

0 投票
1 回答
336 浏览

amazon-web-services - AWS DMS 和 Redshift

我正在使用 DMS 将数据从 MySQL 迁移到 Redshift。在 DMS 中,我使用“full-load-and-ongoing”选项将数据加载到 Redshift。假设完全加载完成并且正在进行中,我想知道如何恢复 DMS 任务,以防我们使用旧快照恢复 Redshift。

提前致谢。

0 投票
0 回答
355 浏览

mongodb - AWS DMS - 将阵列从 MongoDB 迁移到 DynamoDB

我正在尝试将数据从 MongoDB 迁移到 DynamoDB。根据我的测试,似乎 DMS 只能将数组转换为字符串。例如:

这将是

是否可以将其转换为ListSet使用object-mapping?或者,已经有一个我想念的官方解决方案?

0 投票
1 回答
581 浏览

mysql - AWS DMS 无法将 SSL 必需模式与 MySQL 一起使用

我尝试使用 AWS DMS 将另一个云提供的 MySQL innodb 集群迁移到 AWS。我上传了 MySQL 生成的自签名 CA.pem,它不起作用。

AWSDatabaseMigrationService:CA 证书验证错误

DMS SSL 模式没有requiredMySQL 选项。所以我被困住了...

我想知道在这种情况下我应该怎么做。我想到了两种解决方案。

  1. 替换 CA 和所有服务器证书,以便 DMS 可以使用它。不确定这是否有任何潜在风险。
  2. 自己启动另一个 EC2 复制实例。然后 RDS 可以复制 EC2 实例。(我无法在 RDS 中使用自动定位的原因是集群节点中没有一个拥有所有二进制日志)

AWS 论坛中的大部分主题都没有得到答复。我觉得在这里问比较好。
任何建议或想法都会很好。谢谢。

0 投票
2 回答
3420 浏览

postgresql - AWS DMS 与 RDS 上的 Postgresql 的连接问题

我有 2 个 Aws RDS 实例(在 Postgresql 上运行)。两者都在不同的帐户和不同的地区。我想使用 AWS DMS 在它们之间设置数据复制。我尝试进行 VPC 对等互连。我看到了以下视频以启用 VPC 对等:-

https://www.youtube.com/watch?v=KmCEFGDTb8U

问题:- 当我尝试创建 AWS DMS 服务时,我为源添加了主机名、用户名和密码等(存在于另一个帐户上),当我点击时Test Connection,我收到以下错误。

Test Connection令我惊讶的是,当我点击位于同一帐户中的 Target RDS 实例时,我遇到了类似的错误。IE:-

谷歌建议我们有某种防火墙,但查看 NACL,我可以看到我们允许 0.0.0.0/0 用于两个 VPC。

0 投票
1 回答
35 浏览

sql-server - 是否可以使用 AWS DMS 将 SQL 服务器数据库迁移到其他云 mysql ?

AWS DMS 在数据库迁移中具有模式转换工具和其他高级功能。那么是否可以使用 AWS DMS 将 vm 内的 SQL server 数据库迁移到其他云的 mysql(由于业务原因)迁移?或者目标数据库应该在里面AWS RDS?源数据大小接近60GB,表接近300,请指教