问题标签 [aws-dms]

我们正在使用 AWS Database Migration Service 将我们的 RDS MySQL Aurora 数据库迁移到 AWS Redshift。

我们想向其中一个 Redshift 表添加一个 SORT KEY。

在使用 AWS DMS 从 MySQL 源将数据复制到 Redshift 时，我们如何做到这一点？

在 AWS DMS 中，迁移如何在内部发生？是否就像从源表中导出整个数据并导入到目标表中一样？还是像将表记录一一迁移到目标表？我是 aws dms 的新手，对那里的工作方式不太了解。

我在 prod 和 dev 环境中都进行 DMS 复制，我的 dev 的 DMS 运行良好，但在 DMS prod 复制中低于错误。

我可以在源端增加max_prepared_stmt_count，但无法理解为什么它在DEV环境中运行

我目前的要求是将本地 Oracle DB 迁移到 AWS 中的 Aurora MySql。我遇到的一个问题是，是否可以在迁移期间从源中的多个表中加入数据。例如，可以使用 DMS 连接 2 个表并将结果数据加载到目标中的单个表。

我们使用 DMS 从 SQL Server 获取数据并将其加载到 S3 存储桶中，然后最终使用 Snowpipe 将数据加载到 Snowflake DB 中以进行完全加载。

现在，为了让 Snowpipe 知道 S3 存储桶中有新数据，文件名需要与上一个不同。已尝试所有可用的任务设置选项（DROP_AND_CREATE、DO_NOTHING、TRUNCATE）以使文件名不同，但仍无法正常工作。它将文件名加载为 LOAD00000001.csv

在文档中，它显示文件名将是递增的（例如，LOAD00000001.csv、LOAD00000002.csv .. 等等）但它没有发生。这就是 Snowpipe 无法注册更改的原因。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html

有人可以帮忙吗？

我有一个 MySQL 数据库和一个 Mongo 数据库，它们组合包含 200 个表，我正在尝试将它连接到 Glue 并将一些表合并在一起，最终得到 20 个合并数据表以及一些过滤器和脚本，这些表过滤掉了其中的一些数据在它到达它需要的地方之前。

我正在使用 AWS Glue 来执行此操作，在使用爬虫生成 1-1 个表之后，我想开始将这些表合并在一起，但是当我创建作业时，我只能选择一个表作为源，这意味着我会结束增加了 200 个工作岗位。

有没有办法让我有一份工作指向多个来源并将它们映射到一个表格，如下面的屏幕截图所示？

我应该改用其他工具还是在其他地方执行该步骤（即使用 DMS 并为爬虫生成另一个目的地？）

我正在尝试使用 DMS 启用复制，将 Aurora mySQL 实例用作源，将 Redshift 实例用作目标。布尔列上的复制失败。我已在 mySQL 实例上将布尔列声明为 BIT(1)。根据文档，mySQL 中的布尔列应定义为 BIT：

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.MySQL.html#CHAP_Source.MySQL.DataTypes

如果我删除布尔列，它就可以工作。我还尝试将列定义为布尔值。那也没有用。

这是我得到的错误：

2018-08-26T16:59:19 [TARGET_APPLY]E: RetCode: SQL_ERROR SqlState: 42804 NativeError: 30 消息：[Amazon][Amazon Redshift] (30) 尝试执行查询时出错：[SQLState 42804] 错误： “状态”列是布尔类型，但表达式是字符变化类型，提示：您需要重写或强制转换表达式。[1022502] (ar_odbc_stmt.c:4428)

我的用例是我想将数据从 rds mysql 迁移到 dynamodb，但我也希望在迁移期间修改数据。

我试过喜欢这个链接，但没有修改。

参考 - > 类似的问题，但它没有帮助

使用命令时

如何强制/选择将包含实例的 VPC？

我正在尝试使用 AWS DMS 将数据从巴黎地区 (eu-west-3) 的源数据库 (AWS RDS MySQL) 移动到爱尔兰地区 (eu-west-1) 的目标数据库 (AWS Redshift)。目标是不断复制正在进行的更改。

我遇到了这些错误：

文档说：

使用 AWS DMS 的唯一要求是您的终端节点之一必须位于 AWS 服务上。

所以我想做的应该是可能的。在实践中，这似乎是不允许的。

如何使用 AWS DMS 从一个区域到另一个区域？我的端点应该在哪个区域？我的复制任务应该在哪个区域？我的复制实例必须与 RDS MySQL 实例位于同一区域，因为它们需要共享一个子网